开发者社区> 问答> 正文

EMR 5.21,Spark 2.4 - Json4s依赖性被破坏

问题
在EMR 5.21中,Spark-Hbase集成被破坏。
df.write.options()。format()。save()失败。
原因是json4s-jackson版本3.5.3在spark 2.4,EMR 5.21
它在EMR 5.11.2,Spark 2.2,son4s-jackson版本3.2.11中工作正常。
问题是这是EMR所以我不能用较低的json4s重建spark。
有没有解决方法?

错误
py4j.protocol.Py4JJavaError:调用o104.save时发生错误。:java.lang.NoSuchMethodError:org.json4s.jackson.JsonMethods $ .parse(Lorg / json4s / JsonInput; Z)Lorg / json4s / JsonAST $ JValue;

spark-submit --master yarn \
--jars /usr/lib/hbase/ \
--packages com.hortonworks:shc-core:1.1.3-2.3-s_2.11 \
--repositories http://repo.hortonworks.com/content/groups/public/ \
pysparkhbase_V1.1.py s3:///

展开
收起
小六码奴 2019-04-23 17:10:35 3205 0
1 条回答
写回答
取消 提交回答
  • 快速检查SHC POM并不会直接导入json文件,因此您不能自己更改pom并构建工件。

    您将不得不与EMR团队交谈,以使他们同步构建连接器和HBase。

    FWIW,让jackson同步是发布大数据堆栈的重点之一,而AWS SDK更新他们每两周要求的习惯释放一个压力点...... Hadoop纯粹停止了移动到aws阴影SDK AWS工程决策为每个人定义选择。

    2019-07-17 23:34:05
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载