阿里云E-MapReduce 关注
手机版
  1. 云栖社区>
  2. 阿里云E-MapReduce>
  3. 博客>
  4. 正文

开源大数据周刊-第78期

开源大数据 2018-01-05 11:34:25 浏览657 评论0 发表于: 阿里云E-MapReduce >> 开源大数据周刊

分布式 大数据 算法 hadoop 性能 日志 Apache 人工智能 集群 数据安全 开源大数据 分布式计算 流计算 流数据

摘要: 新功能预告:EMR Hadoop集群将增加Flink组件,版本1.4.0;EMR Kafka集群将增加Schema Registry和Rest Proxy组件

阿里云E-MapReduce资讯

  • 新功能预告:

    • EMR Hadoop集群将增加Flink组件,版本1.4.0
    • EMR Kafka集群将增加Schema Registry和Rest Proxy组件

资讯

  • 盘点2017年晋升为Apache TLP的大数据相关项目
    本文主要盘点了 2017 年晋升为 Apache Top-Level Project (TLP) 的大数据相关项目,包括Apache Beam(下一代的大数据处理标准),Apache Eagle(分布式实时Hadoop数据安全方案),Apache Ranger(统一授权管理框架),Apache Metron(实时网络安全检测框架),Apache SystemML(为大数据优化的声明式机器学习平台),Apache CarbonData(列式存储文件格式),Apache Fluo(大规模增量处理系统),Apache DistributedLog(高性能分布式复制日志系统),Apache MADlib(基于SQL可扩展的机器学习库),Apache RocketMQ(分布式消息传递和流数据平台),Apache Impala(新一代开源大数据分析引擎),Apache Trafodion(基于 Hadoop 平台的事务数据库引擎)。
  • 政府大数据应用经典案例 | 江西省教师质量监测、评估与服务大数据平台 健全教育质量保障体系
    江西省教师质量监测、评价与服务大数据平台,围绕江西省中小学课堂教学行为测评,为教师质量动态监测提供技术支撑,构建教师质量评估与诊断的科学体系,为政府和学校优化教师队伍建设提供科学的决策依据。
  • 依托大数据平台 实现税收优惠政策精准落地
    在重庆,像数字城市科技公司这样享受到税收优惠红利的企业还有很多。重庆市地税局充分发挥税收优惠政策的扶持作用,依托大数据平台,重点推进高新技术企业研发费用加计扣除等税收优惠政策精准落地,以税收“减法”赢得了企业发展和经济结构转型的“加法”。

技术

  • 使用EMR来进行mysqlbinlog日志准实时传输
    如何利用阿里云的sls插件功能和emr来进行mysql binlog的准实时传输。
  • 基于可视化配置的日志结构化转换实现
    随着互联网、IT、大数据等技术的爆发式发展,企业系统产生的大量爆发数据。对于保存在数据库中的业务数据,可以通过DBus数据总线+Wormhole流式处理平台的日志方式实时地无侵入同步和落地到任意sink端,提供下游系统分析使用;对于业务系统产生的日志数据,这些包含了业务高低峰、用户轨迹、系统异常/错误信息、调用链等诸多信息,也蕴含着无价的宝藏。一些公司通过埋点等方式和手段,往日志数据里输出他们想要监控和跟踪的信息,以便提供客观的数据支撑,做出更高效、更准确的决策。
  • SparkRDMA:使用RDMA技术提升Spark的Shuffle性能
    由Mellanox Technologies公司开发并开源的SparkRDMA ShuffleManager采用RDMA技术,使得Spark作业在Shuffle数据的时候使用RDMA方式,而非标准的TCP方式。在测试的结果显示,采用RDMA进行Shuffle 数据比标准的方式快2.18倍!
  • 流计算框架 Flink 与 Storm 的性能对比
    本文对这两个框架进行性能对比,为实时计算平台资源规划、框架选择、性能调优等决策及Flink平台的建设提出建议并提供数据支持,为后续的SLA建设提供一定参考。

欢迎入群技术交流!

EMR_dingding


版权声明:信息都是来自互联网,如果侵权,请联系我们,我们负责删除。

出品方:阿里云E-MapReduce团队出品

本文为云栖社区原创内容,未经允许不得转载,如需转载请发送邮件至yqeditor@list.alibaba-inc.com;如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:yqgroup@service.aliyun.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。

用云栖社区APP,舒服~

【云栖快讯】中办国办印发《推进互联网协议第六版(IPv6)规模部署行动计划》加快推进基于 IPv6 的下一代互联网规模部署,计划指出2025年末中国 IPv6 规模要达到世界第一,阿里云也第一时间宣布了将全面提供IPv6服务,那么在全面部署 IPV6 前,你需要了解都在这儿  详情请点击

网友评论