1. 云栖社区>
  2. 全部标签>
  3. #hadoop#
hadoop

#hadoop#

已有18人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

flink用IDEA本地运行可以读取HDFS数据,然后把项目打包提交到flink集群,无法读取HDFS数据,出现以下错误,这是为何?

The program finished with the following exception: org.apache.flink.client.program.ProgramInvocationException: Job fa…

大数据 java hdfs hadoop Apache 配置 集群 runtime scala API Core thread IDEA flink

请教一下,Caused by: org.apache.hadoop.hbase.CallQueueTooBigException: Call queue is full on /0.0.0.0:60020, too many items queued ? 有什么优化措施吗

请教一下,Caused by: org.apache.hadoop.hbase.CallQueueTooBigException: Call queue is full on /0.0.0.0:60020, too many items q…

hbase hadoop Apache BY

请问standalone模式如何优化性能,容易内存不足,报空指针异常

spark没依赖hadoop,单独部署了

hadoop 性能 spark

flink在执行job时checkpoint报错

Flink版本是1.8standardalone cluster模式3台机器执行的时候一直出hdfs权限错误,查看了hdfs目录权限好像是没问题 AsynchronousException{java.lang.Exception: Cou…

java hdfs hadoop Apache runtime Server Create source handler Security flink

Flink on Yarn启动的TaskManager只有一个

Flink On Yarn 模式,单个任务提交的时候,任务提交成功了,但是我的TaskManager只启动了一个,其他的TaskManager都没启动起来,当然资源也没法用,这是为什么啊???我的启动命令是这样的:flink -m yar…

实时系统 jvm hdfs hadoop 配置 pipeline Akka flink

来自Spark的S3写入间歇性地失败,错误代码为404 NoSuchKey

我每隔5分钟写入s3的spark作业(EMR),每天都会写几次,但有以下异常。知道是什么原因引起的吗? 码: ds.write .mode("overwrite") .format("parquet") .save("s3:/…

java hadoop SQL Apache request spark scala e-mapreduce EMR thread Mapreduce

使用docker exec执行主机上存在的shell脚本时出现问题

我正在尝试在AWS EMR集群的主节点上执行脚本。目的是创建一个新的conda env并将其链接到jupyter。我正在关注AWS的这个文档。问题是,无论脚本的内容是什么,我都会遇到同样的错误:bash: /home/hadoop/scr…

docker hadoop shell 集群 主机 容器 e-mapreduce 脚本 bootstrap Bash

无法在EMR spark群集中运行python作业

我正在尝试向AWS EMR spark集群提交python作业。 我在spark-submit选项部分中的设置如下: --master yarn --driver-memory 4g --executor-memory 2g 但是,我在工…

python hdfs hadoop spark e-mapreduce IP EMR file view

使用Spark从同一区域的多个s3桶中读取

我正在尝试从多个s3存储桶中读取文件。 最初桶应该在不同的区域,但看起来这是不可能的。 所以现在我已经将另一个桶复制到与要读取的第一个桶相同的区域,这与我正在执行spark作业的区域相同。 SparkSession设置: val spar…

hadoop 函数 Apache spark e-mapreduce string service 存储

hadoop将结果从hdfs复制到S3

我想从HDFS复制结果到S3,但有一些问题 这是代码(--steps) { "Name":"AAAAA", "Type":"CUSTOM_JAR", "Jar":"command-runner.jar", "ActionOnFailure…

java hdfs hadoop Apache e-mapreduce EMR SUN

如何配置spark以便在S3中创建“_ $ folder $”条目?

当我使用时将数据帧写入S3 df.write .format("parquet") .mode("overwrite") .partitionBy("year", "month", "day", "hour", "gen", "cl…

gzip hadoop 配置 spark e-mapreduce 脚本

15
GO