已有0人关注此标签
2019年Apache Spark技术交流社区原创文章回顾
作者: 阿里云E-MapReduce团队
926人浏览
整理了这一年分享过的来自诸多专家的实践经验，希望2020年我们仍然能够互相支持，壮大Spark社区。
自建Hadoop数据迁移到阿里云EMR
作者: 阿里云E-MapReduce团队
3370人浏览
客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统用于数据分析任务。客户在决定上云之后，会将自建Hadoop集群的数据迁移到阿里云自建部署架构图 Hadoop集群或者EMR集群。本实践方案提供安全和低成本的HDFS数据迁移方案。
1月9日社区直播【使用Apache SuperSet和EMR Spark打造交互式的数据探索平台】
作者: 开源大数据EMR
1150人浏览
本次分享主要介绍如何结合Apache SuperSet和EMR Spark，利用EMR Spark提供的JindoCube高级特性在SuperSet进行秒级响应，交互式的可视化数据探索。
Tablestore+Delta Lake(快速开始)
作者: 琸然
6933人浏览
本文介绍如何在E-MapReduce中通过Tablestore Spark Streaming Source将TableStore中的数据实时导入到Delta Lake中。 背景介绍 近些年来HTAP(Hybrid transaction/analytical processing)的热度越来越高，通过将存储和计算组合起来，既能支持传统的海量结构化数据分析，又能支持快速的事务更新写入，是设计数据密集型系统的一个成熟的架构。
通过EMR Spark Streaming实时读取Tablestore数据
作者: 琸然
3499人浏览
本文将介绍如何在E-MapReduce中实时流式的处理Tablestore中的数据。 场景设计 随着互联网的发展，企业中积累的数据越来越多，数据的背后隐藏着巨大的价值，在双十一这样的节日中，电子商务企业都会在大屏幕上实时显示订单总量，由于订单总量巨大，不可能每隔一秒就到数据库中进行一次SQL统计，此时就需要用到流计算，而传统的方法都是需要借助Kafka消息队列来做流式计算，数据订单需要写入数据库与Kafka中，Spark Streaming 消费来自Kafka中的订单信息。
Spark Operator浅析
作者: 阿里云E-MapReduce团队
8114人浏览
Spark Operator浅析 本文介绍Spark Operator的设计和实现相关的内容. Spark运行时架构 经过近几年的高速发展,分布式计算框架的架构逐渐趋同. 资源管理模块作为其中最通用的模块逐渐与框架解耦,独立成通用的组件.
AnalyticDB for PostgreSQL 黑科技解析 - 列存储 Meta Scan 性能加速
作者: 尚昊
2152人浏览
本文介绍阿里云 AnalyticDB for PostgreSQL（原HybridDB for PostgreSQL） 产品，即 MPP 数据仓库服务，其列存储 meta scan机制，及其对 分析场景的性能提升。
使用Spark Streaming SQL进行PV/UV统计
作者: light-rain
4432人浏览
PV/UV统计是流式分析一个常见的场景。通过PV可以对访问的网站做流量或热点分析，例如广告主可以通过PV值预估投放广告网页所带来的流量以及广告收入。另外一些场景需要对访问的用户作分析，比如分析用户的网页点击行为，此时就需要对UV做统计。
EMR 升级Hadoop 2.8.5
作者: 开源大数据EMR
669人浏览
信息摘要： EMR 提供Hadoop 2.8.5，方便开发者使用新版Hadoop功能。适用客户： 所有客户版本/规格功能： EMR-3.18.0及以后版本，Hadoop升级为2.8.5，开发者可以方便地使用新版Hadoop的功能。
EMR 最新版 EMR-3.22.0 发布
作者: 开源大数据EMR
1338人浏览
信息摘要： EMR 升级到 EMR-3.22.0，包含多项重大更新及新增组件。适用客户： 所有客户版本/规格功能： EMR-3.22.0 发布多项重大更新，新增包括 Kudu、OpenLDAP，Spark新增支持 delta datasource。
Virgin Hyperloop One如何使用Koalas将处理时间从几小时降到几分钟--无缝的将pandas切换成Apache Spark指南
作者: 阿里云E-MapReduce团队
1632人浏览
Virgin Hyperloop One（超级高铁公司）是一家从事超级高铁研究的公司，致力于能让高铁达到飞机的速度并且拥有更低的成本。为了能够制造一个商业的系统，我们需要收集并且分析非常大量的各种不同的数据，包括各种运行测试数据，多种模拟数据，技术设施数据，甚至社会经济数据等等。
列式存储系列（二）: Vertica
作者: 阿里云E-MapReduce团队
4015人浏览
本文就 Vertica 的数据模型、存储、执行引擎以及这几个方面与 C-Store 的区别进行了简单的介绍。总的来说，Vertica 是一个纯正的列式存储数据库，为此，Vertica 设计实现了 projection 这一数据模型，并围绕该模型设计实现了一套大数据分析管理引擎。
玩转阿里云EMR三部曲-高级篇 交互式查询及统一数据源
作者: 阿里云E-MapReduce团队
5400人浏览
利用阿里云EMR生态定制化集群，实现数据仓库满足商业/运营的查询需求，并提供横向扩展提升性能的空间，结合多样服务达到数据交互查询及统一数据源下的最佳成本控制。
玩转阿里云EMR三部曲-中级篇 集成自有服务
作者: 阿里云E-MapReduce团队
10252人浏览
利用EMR引导操作可以使用自定义脚本安装任意自有服务和环境，隔离计算和生产资源，并在极致成本控制下最大化并发和可扩展性。完整的自定义设计可以满足任意自有服务构建的集成需要。
使用资源编排服务（ROS）轻松玩转E-MapReduce（EMR）
作者: Prodesire
811人浏览
前言 如果您还没有听说过资源编排服务（ROS），那么恭喜您，本文将带您走进一个新的世界，学习资源管理的新姿势。 当您在使用E-MapReduce（EMR）时，是否想过使用OpenAPI或者是SDK来创建实例？是否为太多的参数感到困扰，为不一样的参数名称形态看到困惑？尤其是要通过代码管理整个实例的生命周期感到烦恼？ 但您本不该为此烦恼，不是吗？ 其实您只是想创建若干个资源，您不想关心应该调用
玩转阿里云EMR三部曲-高级篇 交互式查询及统一数据源
作者: 学习让人充实
2202人浏览
玩转阿里云EMR三部曲-高级篇 交互式查询及统一数据源 作者：邓力，entobit技术总监，八年大数据从业经历，由一代HADOOP入坑，深耕云计算应用领域，由从事亚马逊EMR和阿里云EMR应用开发逐步转入大数据架构领域，对大数据生态及框架应用有深刻理解。
