1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. E>
  5. emr登陆

当前主题:emr登陆

5分钟迅速搭建云上Lambda大数据分析架构

背景 Spark 中国社区联合阿里云 EMR 技术交流群,Tablestore 技术交流群举办了一场联合技术直播。直播的话题是“海量结构化数据的实时计算和处理”,主要介绍基于 Tablestore 的数据变更实时捕获订阅能力,实现云上Lambda 架构的轻量

阅读全文

玩转阿里云EMR三部曲-高级篇 交互式查询及统一数据源

作者:邓力,entobit技术总监,八年大数据从业经历,由一代HADOOP入坑,深耕云计算应用领域,由从事亚马逊EMR和阿里云EMR应用开发逐步转入大数据架构领域,对大数据生态及框架应用有深刻理解。 引言 笔者近几年工作以架构为主,本系列文章旨在从系统架构层

阅读全文

玩转阿里云EMR三部曲-高级篇 交互式查询及统一数据源

玩转阿里云EMR三部曲-高级篇 交互式查询及统一数据源 作者:邓力,entobit技术总监,八年大数据从业经历,由一代HADOOP入坑,深耕云计算应用领域,由从事亚马逊EMR和阿里云EMR应用开发逐步转入大数据架构领域,对大数据生态及框架应用有深刻理解。 引

阅读全文

首届Apache Flink 极客挑战赛强势来袭 | 开发者必读(039期)

最炫的技术新知、最热门的大咖公开课、最有趣的开发者活动、最实用的工具干货,就在《开发者必读》! 每日集成开发者社区精品内容,你身边的技术资讯管家。 每日头条 首届!Apache Flink 极客挑战赛强势来袭,重磅奖项等你拿,快来组队报名啦 7 月 24 日

阅读全文

Kafka数据迁移MaxCompute最佳实践

前提条件 搭建Kafka集群 进行数据迁移前,您需要保证自己的Kafka集群环境正常。本文使用阿里云EMR服务自动化搭建Kafka集群,详细过程请参见:Kafka 快速入门。 本文使用的EMR Kafka版本信息如下: EMR版本: EMR-3.12.1 集

阅读全文

2019,数据库行业迎50年第二次巨变

数据库与中间件和操作系统并列为全球三大基础软件技术,也是企业IT系统必不可少的核心技术,银行、电信、制造、互联网等所有行业都依赖于数据库技术。由于其技术的高难度,数据库长期以来被少数公司控制了绝大部分市场份额。据不同的统计口径,全球数据库市场在300亿美金到

阅读全文

基于Spark Streaming 进行 MySQL Binlog 日志准实时传输

基本架构 RDS -> SLS -> Spark Streaming -> Spark HDFS 上述链路主要包含3个过程: 1. 如何把 RDS 的 binlog 收集到 SLS。 2. 如何通过 Spark Streaming 将 SLS 中的日志读取出

阅读全文

阿里云MongoDB与EMR的HelloWorld

越来越多的应用采用MongoDB作为数据存储层,性能高,扩展性强,通过WriteCocern参数还可以控制写入持久级别,CAP上灵活配置。文档型的存储结构又是特别适合物联网,游戏等领域,这些数据也蕴藏这巨大的价值,就像是金矿一样,需要挖掘。虽然MongoDB

阅读全文