开发者社区> 问答> 正文

Beam jar无法在远程flink群集上运行

使用带有Flink 1.5.3的beam 2.6进行测试。beam运行本地flink runner没有问题。但无法在flink群集上运行。尝试mvn和flink提交作业。当使用mvn运行时,我用过:

mvn clean package -Pflink-runner exec:java -Dexec.mainClass=org.apache.beam.examples.WordCount -Dexec.args="--runner=FlinkRunner --flinkMaster=c2:6123 --filesToStage=target/word-count-beam-bundled-0.1.jar"
这导致问题阻塞请求blob服务器端口,并且无法继续

发布时钟连接到服务器192.168.0.12/192.168.0.12:2181。不会尝试使用SASL进行身份验证(未知错误)2018年9月21日上午11:47:38 org.apache.zookeeper.ClientCnxn $ SendThread primeConnection信息:建立到192.168.0.12/192.168.0.12:2181的套接字连接,启动会话9月21,20188 11:47:38 AM org.apache.zookeeper.ClientCnxn $ SendThread onConnected INFO:在服务器192.168.0.12/192.168.0.12:2181上完成会话建立,sessionid = 0x165adfcdcd9104b,协商超时= 90000 2018-09-21 11 :47:38 INFO ConnectionManager $ HConnectionImplementation:2155 - 关闭主协议:MasterService 2018-09-21 11:47:38 INFO ConnectionManager $ HConnectionImplementation:1712 - 关闭zookeeper sessionid = 0x165adfcdcd9104b 2018年9月21日上午11:47:38 org.apache.zookeeper.ClientCnxn $ EventThread运行INFO:EventThread关闭2018年9月21日上午11:47:38 org.apache.zookeeper.ZooKeeper关闭信息:会话:0x165adfcdcd9104b关闭2018年9月21日上午11:47:39 org.apache.flink.client.program.rest.RestClusterClient submitJob INFO:提交工作aa366f2bd4bff3ddab47c1a890c84256(分离:false)。2018年9月21日上午11:47:39 org.apache.flink.client.program.rest.RestClusterClient submitJob INFO:提交工作aa366f2bd4bff3ddab47c1a890c84256(分离:假)。2018年9月21日上午11:47:39 org.apache.flink.client.program.rest.RestClusterClient submitJob INFO:提交工作aa366f2bd4bff3ddab47c1a890c84256(分离:假)。2018年9月21日上午11:47:39 org.apache.flink.client.program.rest.RestClusterClient submitJob INFO: 请求blob服务器端口。

使用flink直接提交作业时使用:

$FLINK_HOME/bin/flink run -c org.apache.beam.examples.WordCount target/test-beam-bundled-0.1.jar --runner=FlinkRunner --flinkMaster=c2:6123 --filesToStage=target/word-count-beam-bundled-0.1.jar
抛出以下异常:

该程序以以下异常结束:

在预定义的上下文(例如命令行客户端,Scala Shell或TestEnvironment)org.apache.flink.api.java.RemoteEnvironment中运行时,无法实例化RemoteEnvironment。(RemoteEnvironment.java:126)org.apache.flink .api.java.RemoteEnvironment。(RemoteEnvironment.java:86)org.apache.flink.api.java.ExecutionEnvironment.createRemoteEnvironment(executionEnvironment.java:1168)org.apache.beam.runners.flink.FlinkExecutionEnvironments.createBatchExecutionEnvironment(FlinkExecutionEnvironments。 java:58)org.apache.beam.runners.flink.FlinkPipelineExecutionEnvironment.translate(FlinkPipelineExecutionEnvironment.java:93)org.apache.beam.runners.flink.FlinkRunner.run(FlinkRunner.java:110)org.apache.beam。 sdk.Pipeline.run(Pipeline.java:313)org.apache.beam.sdk.Pipeline.run(Pipeline.java:299)

展开
收起
flink小助手 2018-12-10 11:23:18 3121 0
1 条回答
写回答
取消 提交回答
  • flink小助手会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关flink的问题及回答。

    我发现它是beam问题。Beam java sdk只能用于Flink 1.5.1。Flink 1.5.2+发生了变化,blob上传方法发生了变化。Beam无法通过Flink blob rest api加载jar。

    2019-07-17 23:19:07
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载