已有24人关注此标签
如果在exactly-once 的checkpoint模式下，处理数据出现异常该怎么处理因为重启会一直在那个点重跑 岂不是一直fail
作者： 赵慧
492人浏览
1人回答
转自钉钉群21789141：如果在exactly-once 的checkpoint模式下，处理数据出现异常该怎么处理因为重启会一直在那个点重跑 岂不是一直fail个人觉得flink代码的成熟性还是蛮差的，相对于spark，很多逻辑都是因为源…
spark项目运行时报错java.io.IOException: Cannot run program "/usr/lib/transwarp/scripts/rack_map.sh"
作者： 顾我则笑
565人浏览
1人回答
spark在服务器上刚运行时就报错2018-10-18 14:17:37 PM Thread: dispatcher-event-loop-6WARN:Exception running /usr/lib/transwarp/script…
对比flink和spark 代码提交记录，spark 算是非常频繁？
作者： 赵慧
339人浏览
1人回答
转自钉钉群21789141：对比flink和spark 代码提交记录，spark 算是非常频繁？
flink和spark的最大区别是什么来着？就是双重groupby报错的那段
作者： 赵慧
495人浏览
2人回答
转自钉钉群21789141：flink和spark的最大区别是什么来着？就是双重groupby报错的那段
APP端链接SSH 主机不支持用户口令认证问题 求指教
作者： 自始而终，惟愿你好。
872人浏览
1人回答
新服务器 能连接搭建完jdk python hadoop spark ssh免密钥 重启过 再尝试连接 就这样了 EC 密钥指纹是 c5:4b:34:14:bf:9d:b9:02:ba:5b:ea:3a:b9:fc24:1d密钥交换算…
表格存储批量插入数据本地测试可以，spark集群测试报错
作者： 孤狼b组
609人浏览
1人回答
根据阿里文档编写批量插入数据程序，本地local模式测试成功，spark集群测试失败，报错如下：java.lang.UnsupportedOperationException: This is supposed to be overrid…
需要spark集群如何申请
作者： 1287531400380439
509人浏览
1人回答
想用pyspark对大数据进行机器学习的练习和分析，有没有现成的spark集群可以租用，还是需要自己从头搭建？
如果技术是上帝的笑...，那么干代码的你属于哪种思维模式呢？
作者： 松伯
22066人浏览
13人回答
工作已有多年有余，从最初的亚信 到现在的 阿里。。总结了下思维模式，以个人的视角，供各位干代码的小伙伴们参考，能够深入无论 技术还是业务还是产品的本质。发现其中的规律，更好地把握自己的方向及未来。那么总的来说，我分为四种思维模式： …
E-MapReduce提交Hadoop程序时的详细参数
作者： 张彦杰
661人浏览
0人回答
按阿里云官方文档配的参数，任务还是提交时报错。。。能给我一个详细的参数配置吗。。jar oss://my-emr-test/examples-1.1.jar com.aliyun.emr.example.spark.WordCount Dw…
spark foreach调用restful接口同步数据效率太差
作者： louis.li
939人浏览
1人回答
通过编写 spark程序，读取数据库形成RDD，然后对RDD进行foreach操作，在内部实现方法中对遍历的元素通过调用restful接口同步第三方的数据到本地数据库，将程序 提交到 spark集群后，1000条 数据需要耗时 500秒才可…
java.lang.ClassNotFoundException: com.aliyun.oss.OSSClient 求解答
作者： 李权001
3010人浏览
1人回答
我的命令 ：./bin/spark-submit --jars /opt/aliyun-sdk-oss-2.8.2.jar,/opt/aliyun-sdk-mns-1.1.8.jar,/opt/emr-mns_2.11-1.4.1.j…
报错，Class com.aliyun.fs.oss.nat.NativeOssFileSystem not found
作者： 1686721084451240
1124人浏览
1人回答
我的是spark1.6，scala2.11 然后pom文件是 <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core --> …
Spark如何统计多个MySQL的数据？
作者： 吃馒头黑洞
1226人浏览
2人回答
1、日志数据分布在多个MySQL上，每台物理主机承载一个或多个MySQL。2、每个MySQL的username、password不一样。3、每个MySQL承载日志数据的数据库名称也不一样。4、每个MySQL所承载的日志数据，各不相同，合起…
spark源码阅读环境搭建问题
作者： 开个热点
1060人浏览
1人回答
各地大侠，现有个问题我在spark目录下运行sbt命令，下载完依赖包后，再运行eclipse，构建工程。然后将spark源友作为 maven工程导入到eclipse里面。但是，sbt下载的依赖包都在.ivy文件夹里面，maven工程依赖包…
为何 spark 作业在 yarn web ui看到的任务耗时和spark ui 看到的不一致 ?
作者： daofeng
1285人浏览
1人回答
yarn web ui看到的任务耗时，如下图所示： spark ui 看到的任务耗时，如下图所示：
EMR集群spark出现Tez相关类找不到
作者： 寒沙牧
1553人浏览
1人回答
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning at org.apache.hadoo…
