阿里云E-MapReduce 关注
手机版

开源大数据周刊-第78期

  1. 云栖社区>
  2. 阿里云E-MapReduce>
  3. 博客>
  4. 正文

开源大数据周刊-第78期

开源大数据 2018-01-05 11:34:25 浏览1180 评论0

摘要: 新功能预告:EMR Hadoop集群将增加Flink组件,版本1.4.0;EMR Kafka集群将增加Schema Registry和Rest Proxy组件

阿里云E-MapReduce资讯

  • 新功能预告:

    • EMR Hadoop集群将增加Flink组件,版本1.4.0
    • EMR Kafka集群将增加Schema Registry和Rest Proxy组件

资讯

  • 盘点2017年晋升为Apache TLP的大数据相关项目
    本文主要盘点了 2017 年晋升为 Apache Top-Level Project (TLP) 的大数据相关项目,包括Apache Beam(下一代的大数据处理标准),Apache Eagle(分布式实时Hadoop数据安全方案),Apache Ranger(统一授权管理框架),Apache Metron(实时网络安全检测框架),Apache SystemML(为大数据优化的声明式机器学习平台),Apache CarbonData(列式存储文件格式),Apache Fluo(大规模增量处理系统),Apache DistributedLog(高性能分布式复制日志系统),Apache MADlib(基于SQL可扩展的机器学习库),Apache RocketMQ(分布式消息传递和流数据平台),Apache Impala(新一代开源大数据分析引擎),Apache Trafodion(基于 Hadoop 平台的事务数据库引擎)。
  • 政府大数据应用经典案例 | 江西省教师质量监测、评估与服务大数据平台 健全教育质量保障体系
    江西省教师质量监测、评价与服务大数据平台,围绕江西省中小学课堂教学行为测评,为教师质量动态监测提供技术支撑,构建教师质量评估与诊断的科学体系,为政府和学校优化教师队伍建设提供科学的决策依据。
  • 依托大数据平台 实现税收优惠政策精准落地
    在重庆,像数字城市科技公司这样享受到税收优惠红利的企业还有很多。重庆市地税局充分发挥税收优惠政策的扶持作用,依托大数据平台,重点推进高新技术企业研发费用加计扣除等税收优惠政策精准落地,以税收“减法”赢得了企业发展和经济结构转型的“加法”。

技术

  • 使用EMR来进行mysqlbinlog日志准实时传输
    如何利用阿里云的sls插件功能和emr来进行mysql binlog的准实时传输。
  • 基于可视化配置的日志结构化转换实现
    随着互联网、IT、大数据等技术的爆发式发展,企业系统产生的大量爆发数据。对于保存在数据库中的业务数据,可以通过DBus数据总线+Wormhole流式处理平台的日志方式实时地无侵入同步和落地到任意sink端,提供下游系统分析使用;对于业务系统产生的日志数据,这些包含了业务高低峰、用户轨迹、系统异常/错误信息、调用链等诸多信息,也蕴含着无价的宝藏。一些公司通过埋点等方式和手段,往日志数据里输出他们想要监控和跟踪的信息,以便提供客观的数据支撑,做出更高效、更准确的决策。
  • SparkRDMA:使用RDMA技术提升Spark的Shuffle性能
    由Mellanox Technologies公司开发并开源的SparkRDMA ShuffleManager采用RDMA技术,使得Spark作业在Shuffle数据的时候使用RDMA方式,而非标准的TCP方式。在测试的结果显示,采用RDMA进行Shuffle 数据比标准的方式快2.18倍!
  • 流计算框架 Flink 与 Storm 的性能对比
    本文对这两个框架进行性能对比,为实时计算平台资源规划、框架选择、性能调优等决策及Flink平台的建设提出建议并提供数据支持,为后续的SLA建设提供一定参考。

欢迎入群技术交流!

EMR_dingding


版权声明:信息都是来自互联网,如果侵权,请联系我们,我们负责删除。

出品方:阿里云E-MapReduce团队出品

用云栖社区APP,舒服~

【云栖快讯】新手小白必看!编程语言系列讲座火爆进行中,与行业资深专家一起学习Python、C++、JavaScript、Java!从入门到进阶  详情请点击

网友评论