1. 云栖社区>
  2. 全部标签>
  3. #hdfs#
hdfs

#hdfs#

已有4人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

flink sql 支持checkpoints吗?

使用flink sql进行实时计算(部署模式是on yarn)。想用到checkpoint,在flink-conf.yaml配置了: state.backend: filesystemstate.checkpoints.dir: hdfs…

hdfs SQL 配置 flink

通过spark-thriftserver读取hive表执行sql时,tasks 数量怎么设置

我在使用spark-thriftserver的方式,通过beeline执行sql的时候,thriftserver会扫描所查询hive表的所有分区(hdfs上面的路径)然后有多少个路径,就会自动生成多少个task,这个task的数量可以调整吗…

hdfs SQL spark Hive

flink用IDEA本地运行可以读取HDFS数据,然后把项目打包提交到flink集群,无法读取HDFS数据,出现以下错误,这是为何?

The program finished with the following exception: org.apache.flink.client.program.ProgramInvocationException: Job fa…

大数据 java hdfs hadoop Apache 配置 集群 runtime scala API Core thread IDEA flink

Spark 【问答合集】

如何使用spark将kafka主题中的writeStream数据写入hdfs?https://yq.aliyun.com/ask/493211当Spark在S3上读取大数据集时,在“停机时间”期间发生了什么?https://yq.aliy…

大数据 hdfs 函数 Json 集群 问答 控制台 spark aliyun DataFrame ask stream Hive 流数据

flink在执行job时checkpoint报错

Flink版本是1.8standardalone cluster模式3台机器执行的时候一直出hdfs权限错误,查看了hdfs目录权限好像是没问题 AsynchronousException{java.lang.Exception: Cou…

java hdfs hadoop Apache runtime Server Create source handler Security flink

Hive/Impala 作业读取 SparkSQL 导入的 Parquet 表报错

Hive/Impala 作业读取 SparkSQL 导入的 Parquet 表报错(表包含 Decimal 格式的列):Failed with exception java.io.IOException:org.apache.parquet…

系统软件 LBS 大数据 算法 开发框架与中间件 java 无线 hdfs Apache exception Hive file read 安全问道

Flink on Yarn启动的TaskManager只有一个

Flink On Yarn 模式,单个任务提交的时候,任务提交成功了,但是我的TaskManager只启动了一个,其他的TaskManager都没启动起来,当然资源也没法用,这是为什么啊???我的启动命令是这样的:flink -m yar…

实时系统 jvm hdfs hadoop 配置 pipeline Akka flink

无法在EMR spark群集中运行python作业

我正在尝试向AWS EMR spark集群提交python作业。 我在spark-submit选项部分中的设置如下: --master yarn --driver-memory 4g --executor-memory 2g 但是,我在工…

python hdfs hadoop spark e-mapreduce IP EMR file view

hadoop将结果从hdfs复制到S3

我想从HDFS复制结果到S3,但有一些问题 这是代码(--steps) { "Name":"AAAAA", "Type":"CUSTOM_JAR", "Jar":"command-runner.jar", "ActionOnFailure…

java hdfs hadoop Apache e-mapreduce EMR SUN

hadoop可以同时oss和hdfs吗

在一个hadoop集群中,是否可以同时支持oss和hdfs两个文件系统并且使用M/R可以同时读取两个文件系统的数据?

大数据 OSS hdfs hadoop 集群

关于spark分区什么时候进行的问题?

spark分区是在maptask 到reduceTask的时候进行分区,还是说在sc.textFile就开始分区了呢 我测试了一下,sc.textFile默认分区后我把每个分区的内容打印出来发现不是hash算法分区,但是当我经过了shuf…

大数据 算法 hdfs reduce 测试 spark HASH 分区

连接file或者hdfs出现问题

各位大神,这个问题有遇到过的吗?连接file或者hdfs都会这样

hdfs file

HBase写入数据报错“There is a hole in the region chain”

“There is a hole in the region chain between and . You need to create a new .regioninfo and region dir in hdfs to plug t…

hbase hdfs Create

大佬们,请教下structed streaming 时 checkpoint 频繁在HDFS写小文件,这个一般是怎么处理的?

大佬们,请教下structed streaming 时 checkpoint 频繁在HDFS写小文件,这个一般是怎么处理的?

hdfs spark

spark DataFrame写入HDFS怎么压缩

spark DataFrame写入HDFS怎么压缩?写成txt文件的格式

hdfs spark DataFrame

hdfs对于百兆内的视频读写性能如何呢?

hdfs对于百兆内的视频读写性能如何呢?

java hdfs 性能

在阿里云部署成功hadoop后无法访问hdfs页面

hadoop配置成功了 也启动了 hdfs页面访问不到 hadoop的版本是3.2.0 端口监听页面如图所示 急急急 大哥们帮帮忙看一下

大数据 hdfs hadoop 配置

6
GO