鱼跟猫 + 关注
阿里巴巴计算平台事业部技术专家

鱼跟猫 发表了文章:

【译】用SQL统一所有:一种有效的、语法惯用的流和表管理方法

发布时间:2019-07-15 11:06:19 浏览:7417 回帖 :0

现在还没有一个统一的流式SQL语法标准,各家都在做自己的。本文在一些业界应用的基础上提出了一个统一SQL语法的建议。Spark同样存在这个问题,社区版本在流式SQL上迟迟没有动作。EMR Spark在...

分布式系统与计算 SQL Apache Image spark 表达式 开源计算

鱼跟猫 发表了文章:

使用Spark SQL进行流式机器学习计算(上)

发布时间:2019-06-26 17:15:41 浏览:950 回帖 :0

今天来和大家简单说一下如何使用Spark SQL进行流式数据的机器学习处理

大数据 算法 分布式系统与计算 SQL 测试 spark 流式计算 MLlib string sparkstreaming

鱼跟猫 发表了文章:

通过Spark SQL实时归档SLS数据

发布时间:2019-06-17 11:28:02 浏览:1350 回帖 :1

我在前一篇文章介绍过基于Spark SQL实现对HDFS操作的实时监控报警。今天,我再举例说明一下如何使用Spark SQL进行流式应用的开发。

大数据 hdfs SQL SLS 配置 spark 流式计算 分布式计算 离线分析 schema Create 实时数仓

鱼跟猫 发表了文章:

基于Spark SQL实现对HDFS操作的实时监控报警

发布时间:2019-04-12 11:05:14 浏览:1052 回帖 :0

E-MapReduce计划从EMR-3.18.1版本开始提供Spark Streaming SQL的预览版功能。Spark Streaming SQL是在Spark Structured Stream...

大数据 分布式系统与计算 hdfs SQL Apache qps spark IP string schema type 开源计算

鱼跟猫 发表了文章:

如何在E-MapReduce上进行Kafka集群间数据复制

发布时间:2019-03-20 16:59:32 浏览:929 回帖 :1

本文介绍如何使用社区的Kafka MirrorMaker工具进行集群间的数据复制。

大数据 实时系统 配置 集群 消息中间件 request 数据迁移 e-mapreduce Consumer 数据同步 test Create zookeeper kafka 流式

鱼跟猫 发表了文章:

通过WebUI查看Structured Streaming作业统计信息

发布时间:2019-02-26 11:46:05 浏览:1049 回帖 :0

从EMR-3.18.1版本开始,EMR将提供Spark Streaming SQL预览版功能。本次作为新特性的一部分,EMR将扩展现有Spark WebUI,支持Structured Streamin...

大数据 SQL 数据处理 开源 spark 流式计算 e-mapreduce 分布式计算 EMR last input

鱼跟猫 发表了文章:

E-MapReduce上如何采集Kafka客户端Metrics

发布时间:2018-08-09 17:17:06 浏览:5713 回帖 :0

我们知道Kafka提供一套非常完善的Metrics数据,覆盖Broker,Consumer,Producer,Stream以及Connect。E-MapReduce通过Ganglia收集了Kafka ...

大数据 分布式系统与计算 Apache 配置 集群 消息中间件 测试 aliyun e-mapreduce EMR timestamp zookeeper bootstrap 存储 kafka

鱼跟猫 发表了文章:

如何使用Kafka Connect实现同步RDS binlog数据

发布时间:2018-05-11 14:22:33 浏览:12409 回帖 :2

本文介绍如何在E-MapReduce上使用Kafka Connect实现同步RDS binlog数据

架构 分布式系统与计算 RDS 数据库 开源 配置 集群 Image 同步 e-mapreduce Server binlog 流计算 kafka 流式系统

鱼跟猫 发表了文章:

E-MapReduce Kafka Benchmark - I

发布时间:2018-03-01 18:07:38 浏览:2346 回帖 :0

本文介绍如何利用Kafka自带的性能测试脚本测试Kafka集群的性能,文末给出一份单机测试Kafka集群的性能数据。此数据仅供参考,不代表官方性能指标承诺。

消息系统 大数据 分布式系统与计算 gzip 性能 线程 配置 集群 测试 云盘 e-mapreduce replication zookeeper kafka

鱼跟猫 发表了文章:

如何在E-MapReduce上提交Storm作业处理Kafka数据

发布时间:2018-02-09 17:17:26 浏览:2135 回帖 :1

本文演示如何在E-MapReduce上部署Storm集群和Kafka集群,并运行Storm作业消费Kafka数据。

大数据 分布式系统与计算 storm hadoop Apache 配置 安全组 集群 测试 Maven Image aliyun e-mapreduce kafka 开源计算

鱼跟猫 发表了文章:

E-MapReduce上如何升级EMR-Core

发布时间:2017-11-16 15:32:39 浏览:1856 回帖 :0

本文档将介绍如何将老集群的EMR-Core升级到最新版本 什么是EMR-Core EMR-Core是E-MapReduce集群上支持Hadoop生态组件读写OSS的依赖包。它提供一种高效地读写OS...

分布式 大数据 OSS hadoop 性能 http 集群 e-mapreduce 脚本 EMR Hive

鱼跟猫 发表了文章:

如何在E-MapReduce上使用引导操作安装kafka组件

发布时间:2016-12-21 11:02:23 浏览:3597 回帖 :2

当前emr最新版本2.1.1没有kafka组件,需要额外安装。本文介绍如何用E-MapReduce引导操作来安装kafka_2.10-0.10.0.0版本。

云栖社区 分布式 消息系统 大数据 开发框架与中间件 分布式系统与计算 HTTPS LOG 配置 集群 aliyun e-mapreduce Server 脚本 sed

鱼跟猫 评论了文章:

专注年轻一代,基于E-MapReduce梨视频推荐系统

发布时间:2016-11-04 15:08:44 浏览:5092 回帖 :2

在2016杭州云栖大会的“开源大数据技术专场”上,梨视频大数据负责人杨智带来了《基于E-MapReduce梨视频推荐系统》的精彩分享。分享中,他重点介绍了梨视频中基于阿里云的数据处理系统和梨视频推荐系...

阿里云 e-mapreduce 杭州云栖大会 开源大数据技术专场 梨视频 视频推荐系统

“诚意满满的分享”

鱼跟猫 发表了文章:

尝新阿里云E-MapReduce MetaService服务

发布时间:2016-09-22 13:32:42 浏览:3327 回帖 :2

阿里云E-MapReduce从EMR-2.1.0版本镜像开始,将在VPC集群中提供MetaService服务。

分布式 原创 hadoop spark e-mapreduce 对象存储OSS

鱼跟猫 参与了问答:

阿里云MQS,ONS,MNS,这三个什么区别?

.MQS,ONS,MNS,这三个什么区别?

“区别可以参考这里: https://help.aliyun.com/document_detail/27437.html?spm=5176.788315017.6.167.0onYYr”

鱼跟猫 参与了问答:

在E-MapReduce中使用pyspark访问hive数据时报错

报错信息如下: “o'rg.datanucleus.store.rdsms.connectionpool.DatastoreDriverNotFoundException: The specified...

“使用pyspark时需要指定一个“mysql-connector-java” jar包,运行命令行如下: /opt/apps/spark-1.6.1-bin-hadoop2.6/bin/pys...查看全部>

鱼跟猫 参与了问答:

hadoop HA 集群中使用zeppline的Spark sql访问Hive数据失败

报错信息如下:

“我碰到的场景是修改zeppline的解释器的Spark master参数为yarn-client解决的”

鱼跟猫 参与了问答:

E-MapReduce的hive作业如何加载自定义jar包

E-MapReduce的hive作业如何加载自定义jar包

“目前还不支持方便地加载OSS中的jar包,建议执行计划中加一个hadoop作业: hadoop fs -get oss://xxx localpath绕过。”

鱼跟猫 参与了问答:

Hive作业中的自定义解析jar出现“ClassNotFoundException:com.alibaba.fastjson.JSONObject ”

Hive作业中的自定义解析jar出现“ClassNotFoundException:com.alibaba.fastjson.JSONObject ”

“自定义解析jar需要打成一个fat包,将需要的依赖包打进去”
2
开源计算爱好者

感兴趣or擅长的领域:

暂无
更多>
阿里云E-MapReduce团队
阿里云E-MapReduce团队
文章:45丨 粉丝:891丨 话题:0
更多>
游客nweyqqahqho7m
游客nweyqqahqho7m
文章:0丨 粉丝:0丨 话题:0
leongood
leongood
文章:0丨 粉丝:0丨 话题:0
游客fee5dmjac4yhs
游客fee5dmjac4yhs
文章:0丨 粉丝:0丨 话题:0
游客zzdjaqn4zqvfk
游客zzdjaqn4zqvfk
文章:0丨 粉丝:0丨 话题:0
游客hmc6bjj52qdm6
游客hmc6bjj52qdm6
文章:0丨 粉丝:0丨 话题:0
游客mllikrz3wazf4
游客mllikrz3wazf4
文章:0丨 粉丝:0丨 话题:0