开源大数据EMR + 关注

开源大数据EMR 参与了问答:

高安全集群

高安全集群指什么

“创建集群的时候的高安全集群,指的是 Kerberos。具体可以参考官方文档 Kerberos 简介。 如果用户创建了这个类型的集群,低版本还不能支持直接关闭。 3.12 以及后续的版本可以支持关闭,之...查看全部>

开源大数据EMR 参与了问答:

E-MapReduce 按量高配节点问题

E-MapReduce 按量高配节点问题

“按量的 8 核以及 8 核以上的机器默认是不展示的,您可以去 ECS 申请开通 ECS 的高配节点,然后就能在 EMR 这里使用了。推荐您使用包年包月集群,不受高配的限制。”

开源大数据EMR 参与了问答:

错误提示:指定的 InstanceType 未授权使用

错误提示:指定的 InstanceType 未授权使用

“ECS 的按量付费高配机型(8 核以上的所有机型)需要用户申请开通以后才可以使用,请单击这里申请。通过后,就可以创建高配的机型了。在申请的时候请申请 8 核 16 G,8 核 32 G,16 核 32...查看全部>

开源大数据EMR 参与了问答:

错误提示:zone 或者 Cluster 的库存不够了

错误提示:zone 或者 Cluster 的库存不够了

“一般的原因是 ECS 在该区域的库存不足,可以尝试手动指定切换另一个可用区创建。或者使用随机模式。”

开源大数据EMR 参与了问答:

错误提示:The request processing has failed due to some unknown error, exception or failure.

错误提示:The request processing has failed due to some unknown error, exception or failure.

“E-MapReduce 依赖于阿里云的 ECS,这个错误是依赖的 ECS 管控系统出现一个未知的错误,您可以稍等一会儿,也可以立即提交一个工单给 ECS 等待工程师为您排查。”

开源大数据EMR 参与了问答:

Region 暂时停售按量实例

Region 暂时停售按量实例

“出现这个情况一般是您选择创建集群的 region 暂时停止了售卖按量 ECS。建议您更换 region 购买。”

开源大数据EMR 参与了问答:

ThriftServer 进程正常,但链接出现异常,报错Connection refused telnet emr-header-1 10001 无法连接

ThriftServer 进程正常,但链接出现异常,报错Connection refused telnet emr-header-1 10001 无法连接

“可以查看 /mnt/disk1/log/spark 日志 该问题是由于 thrift server oom,需要调大内存,调大 spark.driver.memory 值即可。”

开源大数据EMR 参与了问答:

Hive/Impala 作业读取 SparkSQL 导入的 Parquet 表报错

Hive/Impala 作业读取 SparkSQL 导入的 Parquet 表报错(表包含 Decimal 格式的列):Failed with exception java.io.IOExceptio...

“由于 Hive 和 SparkSQL 在 Decimal 类型上使用了不同的转换方式写入 Parquet,导致 Hive 无法正确读取 SparkSQL 所导入的数据。对于已有的使用 SparkSQL...查看全部>

开源大数据EMR 参与了问答:

创建低配置机型集群注意事项

创建低配置机型集群注意事项

“若 Master 节点选择 2 核 4 G 机型,则 Master 节点内存非常吃紧,很容易造成物理内存不够用,建议调大Master内存。若 Slave节点选择 2 核 4 G 机型,在运行 MR 作...查看全部>

开源大数据EMR 参与了问答:

Spark SQL连RDS出现“Invalid authorization specification, message from server: ip not in whitelist”

Spark SQL连RDS出现“Invalid authorization specification, message from server: ip not in whitelist”

“检查 RDS 的白名单设置,将集群机器的内网地址加到 RDS 的白名单中。”

开源大数据EMR 参与了问答:

Spark SQL抛出“Exception in thread “main” java.sql.SQLException: No suitable driver found for jdbc:mysql:xxx”报错

Spark SQL抛出“Exception in thread “main” java.sql.SQLException: No suitable driver found for jdbc:mysq...

“低版本 mysql-connector-java 有可能出现类似问题,更新到最新版本。作业参数中使用 —driver-class-path ossref://bucket/…/mysql-connec...查看全部>

开源大数据EMR 参与了问答:

如何在 MR/Spark 作业中指定 OSS 数据源文件路径

如何在 MR/Spark 作业中指定 OSS 数据源文件路径

“如下:OSS URL: oss://[accessKeyId:accessKeySecret@]bucket[.endpoint]/object/path 用户在作业中指定输入输出数据源时使用这种 U...查看全部>

开源大数据EMR 参与了问答:

如何在 MR 作业中使用本地共享库

如何在 MR 作业中使用本地共享库

“方法有很多,这里给出一种方式。修改 mapred-site.xml 文件,例如:试用 <name>mapred.child.java.opts</name> <val...查看全部>

开源大数据EMR 参与了问答:

集群机器分工使用说明

集群机器分工使用说明

“E-MapReduce 中包含一个 Master 节点和多个 Slave(或者 Worker)节点。其中 Master 节点不参与数据存储和计算任务,Slave 节点用来存储数据和计算任务。例如 3 ...查看全部>

开源大数据EMR 参与了问答:

"Error: Could not find or load main class"

"Error: Could not find or load main class"

“检查作业配置中作业jar包的路径协议头是否是 ossref,若不是请改为 ossref。”

开源大数据EMR 参与了问答:

Spark Streaming 作业已经结束,但是 E-MapReduce 控制台显示作业还处于“运行中”状态

Spark Streaming 作业已经结束,但是 E-MapReduce 控制台显示作业还处于“运行中”状态

“检查 Spark Streaming 作业的运行模式是否是 yarn-client,若是建议改成 yarn-cluster 模式。E-MapReduce 对 yarn-client 模式的 Spark...查看全部>

开源大数据EMR 参与了问答:

Spark Streaming 作业运行一段时间后无故结束

Spark Streaming 作业运行一段时间后无故结束

“首先检查 Spark 版本是否是 1.6 之前版本。Spark 1.6 修复了一个内存泄漏的 BUG,这个 BUG 会导致 container 内存超用然后被kill掉(当然,这只是可能的原因之一,不...查看全部>

开源大数据EMR 参与了问答:

Hive 创建外部表,没有数据

Hive 创建外部表,没有数据

“例如:试用CREATE EXTERNAL TABLE storage_log(content STRING) PARTITIONED BY (ds STRING) ROW FORMAT DELIMIT...查看全部>

开源大数据EMR 参与了问答:

作业和执行计划的区别

作业和执行计划的区别

“在阿里云 E-MapReduce 中,要运行作业,需要有分成两个步骤,分别是:创建作业在 E-MapReduce 产品中,说创建一个作业,实际上是创建一个作业运行配置,它并不能被直接运行。既如果在 E...查看全部>

开源大数据EMR 参与了问答:

如何查看作业日志

如何查看作业日志

“在 E-MapReduce 系统里,系统已经将作业运行日志按照 JobID 的规划上传到 OSS 中(路径由用户在创建集群时设置),用户可以直接在网页上点击查看作业日志。如果用户是登录到 Master...查看全部>
5
暂未提供

感兴趣or擅长的领域:

暂无
更多>
xiajunluan
xiajunluan
文章:0丨 粉丝:158丨 话题:0
蓝天0802
蓝天0802
文章:6丨 粉丝:158丨 话题:0
鸿初
鸿初
文章:21丨 粉丝:177丨 话题:0
eric-li
eric-li
文章:5丨 粉丝:163丨 话题:0
云学习小组
云学习小组
文章:192丨 粉丝:46549丨 话题:0
健身不健身
健身不健身
文章:2丨 粉丝:752丨 话题:0
更多>
游客f6x2hykpoc5jq
游客f6x2hykpoc5jq
文章:0丨 粉丝:0丨 话题:0
游客3rppylxekzhii
游客3rppylxekzhii
文章:0丨 粉丝:0丨 话题:0
游客35k2h5ray47lg
游客35k2h5ray47lg
文章:0丨 粉丝:0丨 话题:0
游客v7ogmt75k5epg
游客v7ogmt75k5epg
文章:0丨 粉丝:0丨 话题:0
游客xr2h2l6mlzaza
游客xr2h2l6mlzaza
文章:0丨 粉丝:0丨 话题:0
正忠诚
正忠诚
文章:0丨 粉丝:0丨 话题:0
杂志