1. 云栖社区>
  2. 全部标签>
  3. #spark#
spark

#spark#

已有24人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

如果在exactly-once 的checkpoint模式下,处理数据出现异常该怎么处理因为重启会一直在那个点重跑 岂不是一直fail

转自钉钉群21789141:如果在exactly-once 的checkpoint模式下,处理数据出现异常该怎么处理因为重启会一直在那个点重跑 岂不是一直fail个人觉得flink代码的成熟性还是蛮差的,相对于spark,很多逻辑都是因为源…

大数据 源码 钉钉 spark 流计算 flink 实时计算

spark项目运行时报错java.io.IOException: Cannot run program "/usr/lib/transwarp/scripts/rack_map.sh"

spark在服务器上刚运行时就报错2018-10-18 14:17:37 PM Thread: dispatcher-event-loop-6WARN:Exception running /usr/lib/transwarp/script…

RPC java hadoop Apache shell cluster spark scala netty thread

对比flink和spark 代码提交记录,spark 算是非常频繁?

转自钉钉群21789141:对比flink和spark 代码提交记录,spark 算是非常频繁?

大数据 Image 钉钉 spark 流计算 flink 实时计算

flink和spark的最大区别是什么来着?就是双重groupby报错的那段

转自钉钉群21789141:flink和spark的最大区别是什么来着?就是双重groupby报错的那段

大数据 钉钉 spark 流计算 flink 实时计算

APP端链接SSH 主机不支持用户口令认证问题 求指教

新服务器 能连接搭建完jdk python hadoop spark ssh免密钥 重启过 再尝试连接 就这样了 EC 密钥指纹是 c5:4b:34:14:bf:9d:b9:02:ba:5b:ea:3a:b9:fc24:1d密钥交换算…

python 算法 服务器 hadoop SSH 主机 spark JDK

SparkSQL读写HiveOnHBase表

E-MapReduce集群中的SparkSQL如何读写HiveOnHBase表

java hbase hadoop Apache 配置 spark Driver Hive sparksql

SparkSQL读写HiveOnHBase表

E-MapReduce集群中的SparkSQL如何读写HiveOnHBase表

java hbase hadoop Apache 配置 spark Driver Hive sparksql

表格存储批量插入数据本地测试可以,spark集群测试报错

根据阿里文档编写批量插入数据程序,本地local模式测试成功,spark集群测试失败,报错如下:java.lang.UnsupportedOperationException: This is supposed to be overrid…

java Apache 集群 测试 spark scala Core google 表格存储 thread

JAVA里面RSA加密算法的使用

打算写这个类用于spark插件加密对话消息用。

算法 java 加密 spark 插件 rsa算法

需要spark集群如何申请

想用pyspark对大数据进行机器学习的练习和分析,有没有现成的spark集群可以租用,还是需要自己从头搭建?

集群 spark

如果技术是上帝的笑...,那么干代码的你属于哪种思维模式呢?

工作已有多年有余,从最初的亚信 到现在的 阿里。。总结了下思维模式,以个人的视角,供各位干代码的小伙伴们参考,能够深入无论 技术还是业务还是产品的本质。发现其中的规律,更好地把握自己的方向及未来。那么总的来说,我分为四种思维模式:   …

分布式 hadoop 程序员 spark

大数据真的很难吗?大数据架构师之路有多远?

成为大数据架构师需要掌握哪些技术?分享一下你的大数据架构师之路。

大数据 架构 hadoop spark

E-MapReduce提交Hadoop程序时的详细参数

按阿里云官方文档配的参数,任务还是提交时报错。。。能给我一个详细的参数配置吗。。jar oss://my-emr-test/examples-1.1.jar com.aliyun.emr.example.spark.WordCount Dw…

大数据 OSS hadoop 配置 spark aliyun e-mapreduce EMR input

spark foreach调用restful接口同步数据效率太差

通过编写 spark程序,读取数据库形成RDD,然后对RDD进行foreach操作,在内部实现方法中对遍历的元素通过调用restful接口同步第三方的数据到本地数据库,将程序 提交到 spark集群后,1000条 数据需要耗时 500秒才可…

大数据 线程 数据库 集群 同步 spark 多线程

java.lang.ClassNotFoundException: com.aliyun.oss.OSSClient 求解答

我的命令 :./bin/spark-submit --jars /opt/aliyun-sdk-oss-2.8.2.jar,/opt/aliyun-sdk-mns-1.1.8.jar,/opt/emr-mns_2.11-1.4.1.j…

云栖社区 java OSS hadoop Apache spark scala aliyun list SUN

报错,Class com.aliyun.fs.oss.nat.NativeOssFileSystem not found

我的是spark1.6,scala2.11 然后pom文件是 <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core --> …

云栖社区 大数据 分布式系统与计算 OSS Apache spark aliyun EMR class

Spark如何统计多个MySQL的数据?

1、日志数据分布在多个MySQL上,每台物理主机承载一个或多个MySQL。2、每个MySQL的username、password不一样。3、每个MySQL承载日志数据的数据库名称也不一样。4、每个MySQL所承载的日志数据,各不相同,合起…

python 大数据 mysql 日志 数据库 主机 spark

spark源码阅读环境搭建问题

各地大侠,现有个问题我在spark目录下运行sbt命令,下载完依赖包后,再运行eclipse,构建工程。然后将spark源友作为 maven工程导入到eclipse里面。但是,sbt下载的依赖包都在.ivy文件夹里面,maven工程依赖包…

源码 eclipse Maven spark

为何 spark 作业在 yarn web ui看到的任务耗时和spark ui 看到的不一致 ?

yarn web ui看到的任务耗时,如下图所示: spark ui 看到的任务耗时,如下图所示:

web spark UI

EMR集群spark出现Tez相关类找不到

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning at org.apache.hadoo…

java native hadoop SQL Apache 集群 spark scala API e-mapreduce exception EMR Hive Tez

28
GO