已有0人关注此标签
8月28日社区直播【Spark Streaming SQL流式处理简介】
作者: 开源大数据EMR
1067人浏览
本次直播将简要介绍EMR Spark Streaming SQL，主要包含Streaming SQL的语法和使用，最后做demo演示
8月28日社区直播【Spark Streaming SQL流式处理简介】
作者: 阿里云E-MapReduce团队
888人浏览
本次直播将简要介绍EMR Spark Streaming SQL，主要包含Streaming SQL的语法和使用，最后做demo演示
玩转阿里云EMR三部曲-中级篇 集成自有服务
作者: 学习让人充实
1947人浏览
玩转阿里云EMR三部曲-中级篇 集成自有服务 作者：邓力，entobit技术总监，八年大数据从业经历，由一代hadoop入坑，深耕云计算应用领域，由从事亚马逊EMR和阿里云EMR应用开发逐步转入大数据架构领域，对大数据生态及框架应用有深刻理解。
基于Knox登录Yarn UI查看SparkStreaming作业兼容性问题说明
作者: 时默
1477人浏览
问题背景 1.登录EMR集群节点，运行SparkStreaming示例，如下所示（不同版本EMR集群spark-examples_xxx.jar的路径略有差异）： [root@emr-header-1 ~]# spark-submit --class org.
使用spark-redis组件访问云数据库Redis
作者: 阿里云E-MapReduce团队
3609人浏览
本文演示了在Spark Shell中通过spark-redis组件读写Redis数据的场景。所有场景在阿里云E-MapReduce集群内完成，Redis使用阿里云数据库Redis。
使用spark-redis组件访问云数据库Redis
作者: 云无谓
1132人浏览
本文演示了在Spark Shell中通过spark-redis组件读写Redis数据的场景。所有场景在阿里云E-MapReduce集群内完成，Redis使用阿里云数据库Redis
AnalyticDB for PostgreSQL 实时数据仓库上手指南
作者: 陆封
5240人浏览
AnalyticDB for PostgreSQL 提供企业级数据仓库云服务，基于开源Greenplum构建，采用MPP架构，支持1000+节点PB级数据的实时分析。
8月14日Spark社区直播【Spark Shuffle 优化】
作者: 开源大数据EMR
1409人浏览
本次直播介绍EMR Spark 在shuffle方面的相关优化工作，主要包含shuffle 优化的背景以及shuffle 优化的设计方案，最后会介绍Spark shuffle 在 TPC-DS测试中的性能数据
8月14日Spark社区直播【Spark Shuffle 优化】
作者: 阿里云E-MapReduce团队
1161人浏览
本次直播介绍EMR Spark 在shuffle方面的相关优化工作，主要包含shuffle 优化的背景以及shuffle 优化的设计方案，最后会介绍Spark shuffle 在 TPC-DS测试中的性能数据
EMR Spark Relational Cache 利用数据预组织加速查询
作者: 阿里云E-MapReduce团队
900人浏览
本文介绍了EMR Spark的Relational Cache如何从数据量较大的Cube中快速提取出所需数据加速查询的原理。通过列式存储、文件索引、Z-Order等技术，我们可以快速过滤数据，大大减少实际发生的IO数据量，避免IO瓶颈的出现，从而优化整体查询性能。
海量监控日志基于EMR Spark Streaming SQL进行实时聚合
作者: 伯箫
5344人浏览
从EMR-3.21.0 版本开始将提供Spark Streaming SQL的预览版功能，支持使用SQL来开发流式分析作业。结果数据可以实时写入Tablestore。 本文以LogHub为数据源，收集ECS上的日志数据，通过Spark Streaming SQL进行聚合后，将流计算结果数据实时写入Tablestore，展示一个简单的日志监控场景。
海量监控日志基于EMR Spark Streaming SQL进行实时聚合
作者: 阿里云E-MapReduce团队
1307人浏览
从EMR-3.21.0 版本开始将提供Spark Streaming SQL的预览版功能，支持使用SQL来开发流式分析作业。结果数据可以实时写入Tablestore。 本文以LogHub为数据源，收集ECS上的日志数据，通过Spark Streaming SQL进行聚合后，将流计算结果数据实时写入Tablestore，展示一个简单的日志监控场景。
海量监控日志基于EMR Spark Streaming SQL进行实时聚合
作者: 开源大数据EMR
1456人浏览
从EMR-3.21.0 版本开始将提供Spark Streaming SQL的预览版功能，支持使用SQL来开发流式分析作业。结果数据可以实时写入Tablestore。 本文以LogHub为数据源，收集ECS上的日志数据，通过Spark Streaming SQL进行聚合后，将流计算结果数据实时写入Tablestore，展示一个简单的日志监控场景。
玩转阿里云EMR三部曲-入门篇
作者: 阿里云E-MapReduce团队
1745人浏览
优异的自动化创建集群让小伙伴可以专心于业务开发，不再纠结于hadoop版本，spark版本，甚至某些jar版本引发的各种奇怪问题，按需集群按小时计费模式替小伙伴们极大节省了开支，可以50个节点执行1小时，也可以3个节点执行5小时，非常灵活。
使用EMR-Kafka Connect进行数据迁移
作者: light-rain
5907人浏览
流式处理中经常会遇到Kafka与其他系统进行数据同步或者Kafka集群间数据迁移的情景。使用EMR Kafka Connect可以方便快速的实现数据同步或者数据迁移。本文介绍使用EMR Kafka Connect的REST API接口在Kafka集群间进行数据迁移。
7月31日Spark钉钉群直播【Apache Spark 在存储计算分离趋势下的数据缓存】
作者: 阿里云E-MapReduce团队
931人浏览
在数据上云的大背景下，存储计算分离逐渐成为了大数据处理的一大趋势，计算引擎需要通过网络读写远端的数据，很多情况下 IO 成为了整个计算任务的瓶颈，因而数据缓存成为此类场景下的一个重要的优化手段。本次分享将介绍 Spark 在数据缓存上的一些做法，并将介绍 EMR 自研的 Jindo 存储系统在数据缓存上的应用。
7月31日Spark钉钉群直播【Apache Spark 在存储计算分离趋势下的数据缓存】
作者: 开源大数据EMR
1051人浏览
在数据上云的大背景下，存储计算分离逐渐成为了大数据处理的一大趋势，计算引擎需要通过网络读写远端的数据，很多情况下 IO 成为了整个计算任务的瓶颈，因而数据缓存成为此类场景下的一个重要的优化手段。本次分享将介绍 Spark 在数据缓存上的一些做法，并将介绍 EMR 自研的 Jindo 存储系统在数据缓存上的应用。
使用EMR-Kafka Connect进行数据迁移
作者: 开源大数据EMR
1832人浏览
本文介绍使用EMR Kafka Connect的REST API接口在Kafka集群间进行数据迁移，使用distributed模式。
自动驾驶技术公司DeepMap正将全部重计算环节迁移至阿里云
作者: 阿里云头条
18716人浏览
7月23日，记者了解到，国际领先的自动驾驶技术公司DeepMap高深智图正将生产高精地图的全部重计算环节迁移至阿里云。
