玩转阿里云EMR三部曲-高级篇 交互式查询及统一数据源 作者:邓力,entobit技术总监,八年大数据从业经历,由一代HADOOP入坑,深耕云计算应用领域,由从事亚马逊EMR和阿里云EMR应用开发逐步转入大数据架构领域,对大数据生态及框架应用有深刻理解。 引
作者:邓力,entobit技术总监,八年大数据从业经历,由一代HADOOP入坑,深耕云计算应用领域,由从事亚马逊EMR和阿里云EMR应用开发逐步转入大数据架构领域,对大数据生态及框架应用有深刻理解。 引言 笔者近几年工作以架构为主,本系列文章旨在从系统架构层
越来越多的应用采用MongoDB作为数据存储层,性能高,扩展性强,通过WriteCocern参数还可以控制写入持久级别,CAP上灵活配置。文档型的存储结构又是特别适合物联网,游戏等领域,这些数据也蕴藏这巨大的价值,就像是金矿一样,需要挖掘。虽然MongoDB
作者:朱晓然,Tablestore存储服务技术专家 背景 Spark 中国社区联合阿里云 EMR 技术交流群,Tablestore 技术交流群举办了一场联合技术直播。直播的话题是“海量结构化数据的实时计算和处理”,主要介绍基于 Tablestore 的数据变
原视频链接:https://www.slidestalk.com/AliSpark/EMapReduce191196?video 编辑:杨仲鲍,大数据爱好者,Spark 中文社区志愿者 首先介绍一下阿里云飞天大数据平台(简称飞天平台),飞天平台由AI-PAI
前提条件 搭建Kafka集群 进行数据迁移前,您需要保证自己的Kafka集群环境正常。本文使用阿里云EMR服务自动化搭建Kafka集群,详细过程请参见:Kafka 快速入门。 本文使用的EMR Kafka版本信息如下: EMR版本: EMR-3.12.1 集
Gateway 一些客户需要自主搭建Gateway向E-MapReduce集群提交作业,目前E-MapReduce在产品页面上不支持购买Gateway,后续可以在产品上直接购买Gateway,并把Hadoop环境准备好供用户使用。 购买ECS 在ECS控制台
基本架构 RDS -> SLS -> Spark Streaming -> Spark HDFS 上述链路主要包含3个过程: 1. 如何把 RDS 的 binlog 收集到 SLS。 2. 如何通过 Spark Streaming 将 SLS 中的日志读取出