阿里云E-MapReduce 关注
手机版

开源大数据周刊-第81期

  1. 云栖社区>
  2. 阿里云E-MapReduce>
  3. 博客>
  4. 正文

开源大数据周刊-第81期

开源大数据 2018-02-09 15:44:20 浏览290 评论0

摘要: 资讯 2018年的5个人工智能趋势 在2018年人工智能会有什么进展?下面是我们观察到的:期待机器学习在方法、理解和教育方面会取得实质性的进展;在硬件方面的进步和更低的花费,将会带来更好的数据收集和更快的深度学习;我们会看到更多的自动化应用案例;人工智能社区将继续解决对于人工智能在隐私、伦理道德和责任方面的担忧。

资讯

  • 2018年的5个人工智能趋势
    在2018年人工智能会有什么进展?下面是我们观察到的:期待机器学习在方法、理解和教育方面会取得实质性的进展;在硬件方面的进步和更低的花费,将会带来更好的数据收集和更快的深度学习;我们会看到更多的自动化应用案例;人工智能社区将继续解决对于人工智能在隐私、伦理道德和责任方面的担忧。
  • TensorFlow 1.6.0 版本发布
    TensorFlow 1.6.0-rc0 发布了,TensorFlow 是谷歌的第二代机器学习系统,按照谷歌所说,在某些基准测试中,TensorFlow的表现比第一代的DistBelief快了2倍。
  • Python 3.7 有何新亮点 ?
    Python 3.7增添了众多新的类,可用于数据处理、针对脚本编译和垃圾收集的优化以及更快的异步I/O。Python这种语言旨在使复杂任务变得简单,最新版本Python 3.7已正式进入测试版发布阶段。Python 3.7的最终版定于2018年6月发布,但此后不会为Python 3.7版本添加任何新功能。

技术

  • YARN中的CPU资源隔离-CGroups
    CGroups(Control Groups)是Linux内核的一个资源隔离功能,限制/隔离/统计进程的资源使用,包括CPU/内存/磁盘IO/网络等资源。YARN中也集成了CGroups的功能,使得NodeManger可以对container的CPU的资源使用进行控制,比如可以对单个container的CPU使用进行控制,也可以对NodeManger管理的总CPU进行控制。
  • 美团点评基于Storm的实时数据处理实践
    本文将从目前主流实时数据处理引擎的特点和我们面临的问题出发,简单的介绍一下美团是如何搭建实时数据处理系统。计算引擎的完整性、数据的平滑处理以及计算策略等。
  • 使用Dataflow模型和Apache Beam进行流数据处理的基础
    无限数据流中的数据迟到是数据处理系统必须考虑的问题。水印(watermark)是一种用于解决迟到数据问题的概念。当数据处理系统接受到了一个水印时间戳时,它就会假设它不会再接收到比该时间戳更旧的消息。Google Dataflow模型以及对应的Apache Beam实现都鼓励用户为了能够更好地理解数据处理的方法,需要问自己四个问题:你在计算什么?事件时间(Event time)在哪里?什么时候进行处理?如何进行改进?
  • Dynamometer: Scale Testing HDFS on Minimal Hardware with Maximum Fidelity
    Dynamometer是LinkedIn推出的一款开源HDFS性能评测工具。Dynamometer最初是为了解决HDFS集群扩展的性能瓶颈,旨在精确预测HDFS性能。Dynamometer能够创建HDFS集群,模拟NameNode和DataNode节点(内部称为"Dyno-HDFS", "Dyno-NN", and "Dyno-DN"),通过审计日志回放生产环境下真实的负载。本文主要介绍了Dynamometer诞生的背景、原理,以及在LinkedIn内部如何运用于HDFS新特性测试和NameNode调优。

欢迎入群技术交流!

EMR_dingding


版权声明:信息都是来自互联网,如果侵权,请联系我们,我们负责删除。

阿里云E-MapReduce团队出品

用云栖社区APP,舒服~

【云栖快讯】新年大招!云栖社区为在读大学生/研究生准备了一份学(huan)习(zhuang)攻略,发布博文即有机会赢得iPad mini 4等大奖,学习换装两不误!欢迎报名参与~  详情请点击

网友评论

开源大数据
文章83篇 | 关注137
关注
开源大数据周刊

已发行: 76期

订阅数: 476

阿里云机器学习是基于阿里云分布式计算引擎的一款机器学习算法平台。用户通过拖拉拽的方式可视化的... 查看详情
大数据开发套件(Data IDE),提供可视化开发界面、离线任务调度运维、快速数据集成、多人... 查看详情
快速、完全托管的TB/PB级数据仓库解决方案,向用户提供了完善的数据导入方案以及多种经典的分... 查看详情
为您提供简单高效、处理能力可弹性伸缩的计算服务,帮助您快速构建更稳定、安全的应用,提升运维效... 查看详情
2017阿里千余份技术干货大盘点

2017阿里千余份技术干货大盘点