开源大数据EMR + 关注

开源大数据EMR 参与了问答:

集群续费问题

续费了但是还是会通知说没有续费

“续费操作请参考集群续费。经常会有用户反馈续费了但是还是会通知说没有续费。这是因为 EMR 现在有 2 块,一块是 EMR,一块是 ECS,大部分的用户都只是续费了 ECS 而没有续费 EMR。您可以打...查看全部>

开源大数据EMR 参与了问答:

创建集群失败,构建失败 "The specified instance Type exceeds the maximum limit for the PostPaid instances. "

创建集群失败,构建失败 "The specified instance Type exceeds the maximum limit for the PostPaid instances. "

“一般是用户的按量节点数量的上限到了。ECS 根据不同用户,按量节点上限是不一样的。需要用户去申请加大。如果确认不是上述的原因,还有一种可能是用户是没有创建的机型的权限,需要去 ECS 开通这个机型的使...查看全部>

开源大数据EMR 参与了问答:

创建大数据机型(D1)的问题

创建大数据机型(D1)的问题

“默认情况下,用户在 EMR 上是无法看到和创建大数据机型(D1)的集群的,如果用户需要使用,请提工单联系我们来开通,因为会需要到 ECS 开通一些权限,所以需要一定的时间。”

开源大数据EMR 参与了问答:

高安全集群

高安全集群指什么

“创建集群的时候的高安全集群,指的是 Kerberos。具体可以参考官方文档 Kerberos 简介。 如果用户创建了这个类型的集群,低版本还不能支持直接关闭。 3.12 以及后续的版本可以支持关闭,之...查看全部>

开源大数据EMR 参与了问答:

E-MapReduce 按量高配节点问题

E-MapReduce 按量高配节点问题

“按量的 8 核以及 8 核以上的机器默认是不展示的,您可以去 ECS 申请开通 ECS 的高配节点,然后就能在 EMR 这里使用了。推荐您使用包年包月集群,不受高配的限制。”

开源大数据EMR 参与了问答:

错误提示:指定的 InstanceType 未授权使用

错误提示:指定的 InstanceType 未授权使用

“ECS 的按量付费高配机型(8 核以上的所有机型)需要用户申请开通以后才可以使用,请单击这里申请。通过后,就可以创建高配的机型了。在申请的时候请申请 8 核 16 G,8 核 32 G,16 核 32...查看全部>

开源大数据EMR 参与了问答:

错误提示:zone 或者 Cluster 的库存不够了

错误提示:zone 或者 Cluster 的库存不够了

“一般的原因是 ECS 在该区域的库存不足,可以尝试手动指定切换另一个可用区创建。或者使用随机模式。”

开源大数据EMR 参与了问答:

错误提示:The request processing has failed due to some unknown error, exception or failure.

错误提示:The request processing has failed due to some unknown error, exception or failure.

“E-MapReduce 依赖于阿里云的 ECS,这个错误是依赖的 ECS 管控系统出现一个未知的错误,您可以稍等一会儿,也可以立即提交一个工单给 ECS 等待工程师为您排查。”

开源大数据EMR 参与了问答:

Region 暂时停售按量实例

Region 暂时停售按量实例

“出现这个情况一般是您选择创建集群的 region 暂时停止了售卖按量 ECS。建议您更换 region 购买。”

开源大数据EMR 参与了问答:

ThriftServer 进程正常,但链接出现异常,报错Connection refused telnet emr-header-1 10001 无法连接

ThriftServer 进程正常,但链接出现异常,报错Connection refused telnet emr-header-1 10001 无法连接

“可以查看 /mnt/disk1/log/spark 日志 该问题是由于 thrift server oom,需要调大内存,调大 spark.driver.memory 值即可。”

开源大数据EMR 参与了问答:

Hive/Impala 作业读取 SparkSQL 导入的 Parquet 表报错

Hive/Impala 作业读取 SparkSQL 导入的 Parquet 表报错(表包含 Decimal 格式的列):Failed with exception java.io.IOExceptio...

“由于 Hive 和 SparkSQL 在 Decimal 类型上使用了不同的转换方式写入 Parquet,导致 Hive 无法正确读取 SparkSQL 所导入的数据。对于已有的使用 SparkSQL...查看全部>

开源大数据EMR 参与了问答:

创建低配置机型集群注意事项

创建低配置机型集群注意事项

“若 Master 节点选择 2 核 4 G 机型,则 Master 节点内存非常吃紧,很容易造成物理内存不够用,建议调大Master内存。若 Slave节点选择 2 核 4 G 机型,在运行 MR 作...查看全部>

开源大数据EMR 参与了问答:

Spark SQL连RDS出现“Invalid authorization specification, message from server: ip not in whitelist”

Spark SQL连RDS出现“Invalid authorization specification, message from server: ip not in whitelist”

“检查 RDS 的白名单设置,将集群机器的内网地址加到 RDS 的白名单中。”

开源大数据EMR 参与了问答:

Spark SQL抛出“Exception in thread “main” java.sql.SQLException: No suitable driver found for jdbc:mysql:xxx”报错

Spark SQL抛出“Exception in thread “main” java.sql.SQLException: No suitable driver found for jdbc:mysq...

“低版本 mysql-connector-java 有可能出现类似问题,更新到最新版本。作业参数中使用 —driver-class-path ossref://bucket/…/mysql-connec...查看全部>

开源大数据EMR 参与了问答:

如何在 MR/Spark 作业中指定 OSS 数据源文件路径

如何在 MR/Spark 作业中指定 OSS 数据源文件路径

“如下:OSS URL: oss://[accessKeyId:accessKeySecret@]bucket[.endpoint]/object/path 用户在作业中指定输入输出数据源时使用这种 U...查看全部>

开源大数据EMR 参与了问答:

如何在 MR 作业中使用本地共享库

如何在 MR 作业中使用本地共享库

“方法有很多,这里给出一种方式。修改 mapred-site.xml 文件,例如:试用 <name>mapred.child.java.opts</name> <val...查看全部>

开源大数据EMR 参与了问答:

集群机器分工使用说明

集群机器分工使用说明

“E-MapReduce 中包含一个 Master 节点和多个 Slave(或者 Worker)节点。其中 Master 节点不参与数据存储和计算任务,Slave 节点用来存储数据和计算任务。例如 3 ...查看全部>

开源大数据EMR 参与了问答:

"Error: Could not find or load main class"

"Error: Could not find or load main class"

“检查作业配置中作业jar包的路径协议头是否是 ossref,若不是请改为 ossref。”

开源大数据EMR 参与了问答:

Spark Streaming 作业已经结束,但是 E-MapReduce 控制台显示作业还处于“运行中”状态

Spark Streaming 作业已经结束,但是 E-MapReduce 控制台显示作业还处于“运行中”状态

“检查 Spark Streaming 作业的运行模式是否是 yarn-client,若是建议改成 yarn-cluster 模式。E-MapReduce 对 yarn-client 模式的 Spark...查看全部>

开源大数据EMR 参与了问答:

Spark Streaming 作业运行一段时间后无故结束

Spark Streaming 作业运行一段时间后无故结束

“首先检查 Spark 版本是否是 1.6 之前版本。Spark 1.6 修复了一个内存泄漏的 BUG,这个 BUG 会导致 container 内存超用然后被kill掉(当然,这只是可能的原因之一,不...查看全部>
5
暂未提供

感兴趣or擅长的领域:

暂无
更多>
巴蜀真人
巴蜀真人
文章:112丨 粉丝:25950丨 话题:0
金竹
金竹
文章:14丨 粉丝:26007丨 话题:0
jasonli4
jasonli4
文章:11丨 粉丝:25742丨 话题:0
小白薇薇
小白薇薇
文章:10丨 粉丝:25771丨 话题:0
溶月
溶月
文章:1丨 粉丝:25727丨 话题:0
付空
付空
文章:23丨 粉丝:21942丨 话题:0
更多>
游客mwmwsttsz4er2
游客mwmwsttsz4er2
文章:0丨 粉丝:0丨 话题:0
xiaoc911
xiaoc911
文章:0丨 粉丝:0丨 话题:0
ds3r3iqbe2mwy
ds3r3iqbe2mwy
文章:0丨 粉丝:0丨 话题:0
游客7o57loau3uxku
游客7o57loau3uxku
文章:0丨 粉丝:0丨 话题:0
n3olm5jangego
n3olm5jangego
文章:0丨 粉丝:0丨 话题:0
nvsogtq37fllu
nvsogtq37fllu
文章:0丨 粉丝:0丨 话题:0
杂志