开源大数据周刊-第16期

简介: spark2.0已经发布,本期整理了一些spark的好文(包括最佳实践、原理等)推荐给大家。

阿里云E-Mapreduce动态

E-Mapreduce团队

1.4版本(已经发布)

  • 作业运行失败报警
  • 作业并行提交
  • 添加sqoop、shell类型的作业

1.4.1版本(正在研发)

  • 完善失败报警
  • 完善定时任务,增加小时、分钟定时任务

1.5.0版本 (正在研发)

  • 集群整体运行情况的仪表盘
  • 集群状态监控报警

1.6.0版本

  • 交互式查询(支持hive、spark)

资讯

Apache Spark 2.0.0 发布,APIs 更新
该版本主要更新APIs,支持SQL 2003,支持R UDF ,增强其性能。

spark2.0技术预览,更易用、更快速、更智能
spark2.0统一了streaming与batch的api,引入了dataset,另外就是tungsten等性能优化,让spark成为更加优秀的分布式计算引擎。

Spark 分析与+ MongoDB 提供数据库即服务
MongoDB的快速部署,是其大受欢迎的主要原因。在其年度会议上,这个NoSQL数据库背后的公司展示了一系列的改进,包括与Spark分析的互联。

飞一般的感觉!当Spark遇到Redis~
一些内存数据结构比其他数据结构来得更高效;如果充分利用Redis,Spark运行起来速度更快。

变不可能为可能,Tachyon帮助Spark变小时级任务到秒
Tachyon就可以帮你让这些数据长期处于内存中并且在不同应用之间共享。

Spark多数据源计算实践及其在GrowingIO的实践
本文主要介绍如何使用Apache Spark中的DataSource API以实现多个数据源混合计算的实践。

用Spark进行大数据处理之机器学习篇
讨论机器学习概念以及如何使用Spark MLlib来进行预测分析。

Spark Streaming图片处理案例介绍
本文首先介绍了流式处理框架的设计原理、Spark Streaming 的工作原理,然后通过一个基于 Spark Streaming 编写的读取、分析、写入图片的示例帮助读者加深了解 Spark Streaming 的工作原理。

国内大数据相关会议

| 会议 | 地点 | 时间 | 费用 |
| --- | --- | --- | --- |
| Strata + Hadoop World | 北京 | 2016年8月04- 2016年8月06日 | 收费 |
| 2016北京云栖大会 | 北京 | 2016年08月07日 | 免费|

版权声明

信息都是来自互联网,都给出了原文的链接,如果侵权,请联系我们,我们负责删除。
阿里云E-Mapreduce团队 出品

历史周刊链接

开源大数据周刊-第15期
开源大数据周刊-第14期
开源大数据周刊-第13期
开源大数据周刊-第12期
开源大数据周刊-第11期
开源大数据周刊-第10期
开源大数据周刊-第9期
开源大数据周刊-第8期
开源大数据周刊-第7期
开源大数据周刊-第6期
开源大数据周刊-第5期
开源大数据周刊-第4期
开源大数据周刊-第3期
开源大数据周刊-第2期
开源大数据周刊-第1期

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
4月前
|
存储 SQL 分布式计算
开源大数据比对平台设计与实践—dataCompare
开源大数据比对平台设计与实践—dataCompare
65 0
|
4月前
|
SQL 大数据 关系型数据库
开源大数据比对平台(dataCompare)新版本发布
开源大数据比对平台(dataCompare)新版本发布
68 0
|
4月前
|
SQL 存储 分布式计算
从0到1介绍一下开源大数据比对平台dataCompare
从0到1介绍一下开源大数据比对平台dataCompare
104 0
|
5月前
|
机器学习/深度学习 分布式计算 大数据
开源大数据平台的发展
开源大数据平台的发展
64 0
|
5月前
|
人工智能 分布式计算 大数据
开源大数据平台 3.0 技术解读
阿里云研究员,阿里云计算平台事业部开源大数据平台负责人王峰围绕新一代的流式湖仓、全面 Serverless 化、更智能的开源大数据等多维度解读开源大数据平台 3.0~
1016 1
开源大数据平台 3.0 技术解读
|
1月前
|
SQL 存储 监控
构建端到端的开源现代数据平台
构建端到端的开源现代数据平台
49 4
|
4月前
|
SQL 存储 大数据
从0到1介绍一下开源大数据服务平台dataService
从0到1介绍一下开源大数据服务平台dataService
105 1
|
4月前
|
大数据 Linux KVM
【云计算与大数据技术】虚拟化技术、开源技术Xen、KVM、OpenVZ的讲解(图文解释 超详细)
【云计算与大数据技术】虚拟化技术、开源技术Xen、KVM、OpenVZ的讲解(图文解释 超详细)
97 0
|
4月前
|
存储 人工智能 大数据
2023云栖陈守元,阿里云开源大数据产品年度发布
阿里云计算平台事业部开源大数据产品总监陈守元围绕EMR、Flink Streaming Lakehouse、 Elasticsearch、Milvus等产品发布展开分享介绍。
258 2
|
6月前
|
存储 分布式计算 数据可视化
开源在大数据和分析中的角色
开源在大数据和分析中的角色
49 0