已有0人关注此标签
sparkstreaming开启推测执行后导致task分配不均
作者： jfengye
591人浏览
1人回答
正常运转时各结点数据本地性都是process_local，当某个节点（下图executor 0）的task运行太慢，推测执行生效，该task被分发到其他节点执行完成但发现后续所有sparkstreaming 的task就不会分发到execu…
spark streaming job运行卡住
作者： jfengye
694人浏览
1人回答
问题 虚拟机中运行sparkStreaming job一段时间后,偶尔会卡住, 过一段时间就恢复, 需要定位原因解决 背景 1.sparkStreaming消费kafka数据, 开启反压机制, 将接收每一条kafka消息(json串)转换…
Oozie如何停止已提交到yarn的Sparkstreaming程序？
作者： freeboy_mallco
1220人浏览
0人回答
Oozie提交Sparkstreaming程序到yarn运行后，Sparkstreaming会一直处于Running状态，kill掉Oozie的工作流后，已提交到yarn的Sparkstreaming还是在运行，如何优雅的停止它？
E-mapreduce中用spark streaming 读取Loghub的问题
作者：匿名作者
1349人浏览
3人回答
大家好。我在测试使用E-mapreduce中的spark streaming来采集Loghub的数据时，遇到点问题。我用Loghub监控一个文本文件，采用的是极简模式。该文本文件，每隔三秒生成一个1到10的随机数，如下图所示。 我修改了E…
在e-mapreduce跑spark streaming，计划1分钟打印一条日志发现没有打印
作者：匿名作者
1460人浏览
1人回答
在e-mapreduce跑spark streaming，1分钟打印一条日志发现没有打印。
