1. 云栖社区>
  2. 全部标签>
  3. #Beam#
Beam

#Beam#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

跟ApacheBeam学质量控制之道

在学习、开发Apache Beam源码过程中,除了它精妙的设计(通过几个简单的概念抽象把实时和离线的计算逻辑模型统一了起来),庞大的代码量(Java 33万行, Python9万行),还有一个比较大的感受是它的质量控制做得特别好,比之前参与过的其它一些开源项目都要好,这可能跟Google的工程质量高于业界有关。但是这里面也没什么什么奇技淫巧,只是善用了一些插件而已,我在这里想把我在Apache B

java Apache 阿里技术协会 web Maven string 插件 单元测试 MVC Beam

Apache Beam研究报告

## 概述 本文不是一篇Beam的入门文档,不会介绍Beam的基本概念;而会主要探讨Beam的表达力,Beam的性能,以及Beam目前在业内的使用情况。面向的读者是那些想使用Beam作为自己公司操作大数据的统一API,但是还有所顾虑的人们。 ## 表达力 ### 离线 Beam里面有两个核心原语: * ParDo: 来处理通用的基于单条数据的计算: 每条需要处理的数据

hadoop 性能 HTTPS Apache 阿里技术协会 数据处理 API google 性能测试 Mapreduce Beam

开源大数据周刊-第30期

开源大数据周刊-第30期:阿里云E-MapReduce上的案例分享;重磅新闻,阿里云在CloudSort上夺冠;Beam,Flink,KV技术分享。

分布式 大数据 分布式系统与计算 阿里云 hadoop HTTPS Apache http 数据库 开源大数据 e-mapreduce Hive flink Beam CloudSort

1
GO