【公共云支持】MaxCompute Spark支持交互式Zeppelin

  1. 云栖社区>
  2. 博客>
  3. 正文

【公共云支持】MaxCompute Spark支持交互式Zeppelin

MaxCompute Spark 2019-07-10 13:51:17 浏览498
展开阅读全文

由于安全原因,用户无法触达生产集群的网络,所以MaxCompute Spark一直没有放开 yarn-client的支持,也就是Spark-ShellSpark-SQL以及PYSPARK等交互式功能一直无法支持。最近调研了Zeppelin框架,配合MaxCompute Spark的相关特性以及组件,开发支持了Zeppelin on MaxCompute Spark来支持相对应的交互式探索需求。

步骤说明

  • 因为配置以及启动比较繁琐,用户未必会对这方面的事情感兴趣,所以我封装了一个一键启动的脚本,见 spark-zeppelin-public.sh
  • 下载脚本到本地后,运行 sh spark-zeppelin-public.sh 后,会自动下载相关组件如下

    • spark-zeppelin-public.conf
    • spark-zeppelin-pu

网友评论

登录后评论
0/500
评论
MaxCompute Spark
+ 关注