1. 云栖社区>
  2. 全部标签>
  3. #spark#
spark

#spark#

已有24人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

kafka 的broker日志中出现Too many open files ,这个大家有谁碰到过吗

我ulimit -a出来 open files 有20W限制的。。。这个的话,还要怎么调额。。

日志 spark open ulimit

我在跑spark的时候(一次提交20个job),遇到这样一个错误

我在跑spark的时候(一次提交20个job),遇到这样一个错误(19/05/11 16:09:14 ERROR YarnScheduler: Lost executor 10 on bdp03nn02: Container marked…

hbase code request spark BY

大佬帮看看spark任务报错

大佬帮看看spark任务报错

hbase spark

大佬们,hive添加自定义udf出现权限问题,有谁遇到过没?

我们这hive整合sentry,由sentry去控制的。sentry没办法对这个授权

spark Hive UDF

hi,有人配置过 spark.streaming.dynamicAllocation.enabled这个参数吗,这个参数对spark streaming会生效,但是没找到文档说spark structured streaming 是否会生效

有人配置过 spark.streaming.dynamicAllocation.enabled这个参数吗,这个参数对spark streaming会生效,但是没找到文档说spark structured streaming 是否会生效

配置 spark

问个问题,java怎么使用广播变量广播dateframe 1.6版本

问个问题,java怎么使用广播变量广播dateframe 1.6版本

java spark

请教大家一个问题: spark on yarn 内存溢出 除了增加driver内存以外还有什么好的解决方案吗?

我现在一个清洗程序 从kafka读取消息 然后处理 然后写入kafka sink。 driver 给了它4G 还报内存溢出,我查了下内存溢出那时段的数据是比较少的。 一分钟最多100条。

spark 解决方案 Driver

请教一下,spark sql 执行比如select * from table where day >='2018-05-04' 后面限定过滤后的具体partition访问 源码里是在哪个阶段哪个函数获取的

请教一下,spark sql 执行比如select * from table where day >='2018-05-04' 后面限定过滤后的具体partition访问 源码里是在哪个阶段哪个函数获取的

函数 SQL 源码 spark

请问standalone模式如何优化性能,容易内存不足,报空指针异常

spark没依赖hadoop,单独部署了

hadoop 性能 spark

使用pyspark将csv文件转换为parquet文件:Py4JJavaError:调用o347.parquet时发生错误[duplicate]

使用pyspark将csv文件转换为parquet文件:Py4JJavaError:调用o347.parquet时发生错误[duplicate]

spark csv

赠书啦!2019年5月上旬值得一读的10本技术书籍(Flink、Kubernetes、微服务架构等)

导语:读书可以丰富我们的知识量。多读一些好书,能让我们开阔视野,增长知识。本周小编为大家整理了2019年5月上旬值得一读的10本技术书籍,其中涉及大数据、云计算、微服务架构等方面。 1、《Flink原理、实战与性能优化》 作者:张利兵 …

大数据 架构 java 性能优化 docker 源码 微服务 kvm spark

阿里云大数据型机器组集群网络不稳定

阿里云大数据型机器组集群网络问题,跑Spark经常出现Connection refuse导致的stage retry。社区有同学遇到过吗?这种怎么定位排查,或者提交阿里云人员处理?

故障方案 大数据 集群 spark big data 云服务器ECS

28
GO