开源大数据EMR + 关注

开源大数据EMR 参与了问答:

"Error: Could not find or load main class"

"Error: Could not find or load main class"

“检查作业配置中作业jar包的路径协议头是否是 ossref,若不是请改为 ossref。”

开源大数据EMR 参与了问答:

Spark Streaming 作业已经结束,但是 E-MapReduce 控制台显示作业还处于“运行中”状态

Spark Streaming 作业已经结束,但是 E-MapReduce 控制台显示作业还处于“运行中”状态

“检查 Spark Streaming 作业的运行模式是否是 yarn-client,若是建议改成 yarn-cluster 模式。E-MapReduce 对 yarn-client 模式的 Spark...查看全部>

开源大数据EMR 参与了问答:

Spark Streaming 作业运行一段时间后无故结束

Spark Streaming 作业运行一段时间后无故结束

“首先检查 Spark 版本是否是 1.6 之前版本。Spark 1.6 修复了一个内存泄漏的 BUG,这个 BUG 会导致 container 内存超用然后被kill掉(当然,这只是可能的原因之一,不...查看全部>

开源大数据EMR 参与了问答:

Hive 创建外部表,没有数据

Hive 创建外部表,没有数据

“例如:试用CREATE EXTERNAL TABLE storage_log(content STRING) PARTITIONED BY (ds STRING) ROW FORMAT DELIMIT...查看全部>

开源大数据EMR 参与了问答:

作业和执行计划的区别

作业和执行计划的区别

“在阿里云 E-MapReduce 中,要运行作业,需要有分成两个步骤,分别是:创建作业在 E-MapReduce 产品中,说创建一个作业,实际上是创建一个作业运行配置,它并不能被直接运行。既如果在 E...查看全部>

开源大数据EMR 参与了问答:

如何查看作业日志

如何查看作业日志

“在 E-MapReduce 系统里,系统已经将作业运行日志按照 JobID 的规划上传到 OSS 中(路径由用户在创建集群时设置),用户可以直接在网页上点击查看作业日志。如果用户是登录到 Master...查看全部>

开源大数据EMR 参与了问答:

第一次使用执行计划时没有安全组可选

第一次使用执行计划时没有安全组可选

“因为一些安全的原因,EMR 目前的安全组并不能直接选择用户的已有安全组来使用,所以如果你还没有在 EMR 中创建过安全组的话,在执行计划上将无法选择到可用的安全组。我们推荐您先手动创建一个按需集群来进...查看全部>

开源大数据EMR 参与了问答:

多个 ConsumerID 消费同一个 Topic 时出现 TPS 不一致问题

多个 ConsumerID 消费同一个 Topic 时出现 TPS 不一致问题

“有可能这个 Topic 在公测或其他环境创建过,导致某些 Consumer 组消费数据不一致。请在工单系统中将对应的 Topic 和 ConsumerID 提交到 ONS 处理。”

开源大数据EMR 参与了问答:

Spark Streaming 作业运行一段时间后无故结束

Spark Streaming 作业运行一段时间后无故结束

“首先检查 Spark 版本是否是 1.6 之前版本。Spark 1.6 修复了一个内存泄漏的 BUG,这个 BUG 会导致 container 内存超用然后被kill掉(当然,这只是可能的原因之一,不...查看全部>

开源大数据EMR 发表了文章:

从数砖开源 Delta Lake 说起

发布时间:2019-04-25 16:03:59 浏览:7548 回帖 :1

Spark AI 北美峰会的第一天,坊间传闻被证实,Databrics(俗称数砖,亦称砖厂)的杀手锏 Delta 产品特性作为 Delta Lake 项目开源!会前,笔者有幸同砖厂的两位大佬李潇和连城...

云栖社区 数据存储与数据库 大数据 实时系统 hadoop Apache spark 开源大数据 存储 Delta

开源大数据EMR 发表了文章:

浅谈 Spark 的多语言支持(修订版)

发布时间:2019-04-23 14:40:08 浏览:814 回帖 :0

Spark 设计上的优秀无容置疑,甫一出道便抢了 Hadoop 的 C 位,在开源大数据的黄金十年里一时风头无两,在人工智能时代的当下仍然能够与时俱进,不可谓不牛逼。架构和设计上的卓越,不遑多言,美中...

云栖社区 系统软件 数据存储与数据库 系统研发与运维 网络与数据通信 python 深度学习 大数据 java hadoop spark scala 开源大数据 EMR

开源大数据EMR 参与了问答:

SparkSQL读写HiveOnHBase表

E-MapReduce集群中的SparkSQL如何读写HiveOnHBase表

“SparkSQL本身是支持StorageHandler,需要提供相关jar包。 访问HiveOnHBase需要如下jar包:/usr/lib/hbase-current/lib/hbase-serve...查看全部>

开源大数据EMR 评论了文章:

存储与计算分离:OSS构建表 + 计算引擎对接

发布时间:2017-04-28 17:25:17 浏览:13296 回帖 :2

看到标题,可能有用户要问:OSS不是用来存图片、视频、及文件的吗,还可以在上面建表、数仓?计算效率和经济性表现怎么样? 本文先给出基本结论: OSS是什么? 对象存储(Object Sto...

大数据 阿里云 OSS HTTPS SLS aliyun e-mapreduce csv 存储 数据存储 Parquet MaxCompute loghub

“presto用户也可以使用EMR读取存储在OSS上的表数据”

开源大数据EMR 参与了问答:

E-mapreduce中用spark streaming 读取Loghub的问题

大家好。我在测试使用E-mapreduce中的spark streaming来采集Loghub的数据时,遇到点问题。我用Loghub监控一个文本文件,采用的是极简模式。该文本文件,每隔三秒生成一个1到...

“你可以先去logstore看下收到的究竟是些什么内容,然后再对比下spark streaming消费到的数据。”

开源大数据EMR 评论了文章:

双研究员带你了解数据库技术现状,及阿里云为什么要推出HBase

发布时间:2017-02-13 18:29:07 浏览:8051 回帖 :2

纵观整个排行榜,RDBMS牢牢占据了前3席,各个数据库的热度亦一览无余。然而,在这背后,大数据时代下,数据库技术究竟发生了什么样的变化和发展?2月21日,阿里巴巴中间件技术部负责人蒋江伟与阿里巴巴 A...

RDS e-mapreduce

“云数据库 HBase 版(ApsaraDB for HBase)是基于 Hadoop 的一个分布式数据库支持海量的PB级的大数据存储,适用于高吞吐的随机读写的场景。 目前免费公测中,名额有限。有需求的...查看全部>

开源大数据EMR 参与了问答:

关于云数据库 HBase 版的简介

关于云数据库 HBase 版的简介

“云数据库 HBase 版(ApsaraDB for HBase)是基于 Hadoop 的一个分布式数据库,支持海量的PB级的大数据存储,适用于高吞吐的随机读写的场景。 目前免费公测中,名额有限。查看详...查看全部>

开源大数据EMR 评论了文章:

如何在E-MapReduce上使用引导操作安装kafka组件

发布时间:2016-12-21 11:02:23 浏览:3604 回帖 :2

当前emr最新版本2.1.1没有kafka组件,需要额外安装。本文介绍如何用E-MapReduce引导操作来安装kafka_2.10-0.10.0.0版本。

云栖社区 分布式 消息系统 大数据 开发框架与中间件 分布式系统与计算 HTTPS LOG 配置 集群 aliyun e-mapreduce Server 脚本 sed

“好文章!内容不在多,实用最好!!”

开源大数据EMR 评论了文章:

Hadoop社区支持阿里云OSS 云计算与开源融合的新里程碑

发布时间:2016-10-14 16:02:45 浏览:9167 回帖 :1

Hadoop社区作为大数据领域的开源软件,一直以来都受到了各个厂商的高度重视,对OSS的支持将更大程度的促进开源软件和云计算的互通与融合。

大数据 阿里云 OSS hadoop

“1.58元/小时起快速体验 Hadoop & Spark 等,阿里云为你助力大数据计算E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop...查看全部>

开源大数据EMR 评论了文章:

当物流行业遇见MongoDB

发布时间:2016-07-19 18:08:38 浏览:9224 回帖 :6

快递物流系统里最常见的一种业务类型就是订单的查询和记录。利用MongoDB数据库能够帮助企业快速搭建物流快递系统,助力物流企业轻松上云

数据存储与数据库 MongoDB

“宝宝写的不错”

开源大数据EMR 参与了问答:

E-Mapreduce的Spark软件安装目录

请问E-Mapreduce的Spark软件安装目录

“不同版本有不同的路径,目前在 /opt/apps/spark-1.6.0-bin-hadoop2.6/可以在 /opt/apps 下面找到”
5
暂未提供

感兴趣or擅长的领域:

暂无
更多>
xiajunluan
xiajunluan
文章:0丨 粉丝:158丨 话题:0
蓝天0802
蓝天0802
文章:6丨 粉丝:158丨 话题:0
鸿初
鸿初
文章:21丨 粉丝:177丨 话题:0
eric-li
eric-li
文章:5丨 粉丝:163丨 话题:0
云学习小组
云学习小组
文章:192丨 粉丝:46599丨 话题:0
健身不健身
健身不健身
文章:2丨 粉丝:752丨 话题:0
更多>
游客f6x2hykpoc5jq
游客f6x2hykpoc5jq
文章:0丨 粉丝:0丨 话题:0
游客3rppylxekzhii
游客3rppylxekzhii
文章:0丨 粉丝:0丨 话题:0
游客35k2h5ray47lg
游客35k2h5ray47lg
文章:0丨 粉丝:0丨 话题:0
游客v7ogmt75k5epg
游客v7ogmt75k5epg
文章:0丨 粉丝:0丨 话题:0
游客xr2h2l6mlzaza
游客xr2h2l6mlzaza
文章:0丨 粉丝:0丨 话题:0
正忠诚
正忠诚
文章:0丨 粉丝:0丨 话题:0
杂志