1. 云栖社区>
  2. 全部标签>
  3. #hdfs#
hdfs

#hdfs#

已有4人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

通过spark-thriftserver读取hive表执行sql时,tasks 数量怎么设置

我在使用spark-thriftserver的方式,通过beeline执行sql的时候,thriftserver会扫描所查询hive表的所有分区(hdfs上面的路径)然后有多少个路径,就会自动生成多少个task,这个task的数量可以调整吗…

hdfs SQL spark Hive

Flink on Yarn启动的TaskManager只有一个

Flink On Yarn 模式,单个任务提交的时候,任务提交成功了,但是我的TaskManager只启动了一个,其他的TaskManager都没启动起来,当然资源也没法用,这是为什么啊???我的启动命令是这样的:flink -m yar…

实时系统 jvm hdfs hadoop 配置 pipeline Akka flink

hadoop可以同时oss和hdfs吗

在一个hadoop集群中,是否可以同时支持oss和hdfs两个文件系统并且使用M/R可以同时读取两个文件系统的数据?

大数据 OSS hdfs hadoop 集群

大佬们,请教下structed streaming 时 checkpoint 频繁在HDFS写小文件,这个一般是怎么处理的?

大佬们,请教下structed streaming 时 checkpoint 频繁在HDFS写小文件,这个一般是怎么处理的?

hdfs spark

想问下 Flink 1.6.2 with Hadoop® 2.8 这个版本里的 Hadoop 用户名是绑定了的么?

想问下 Flink 1.6.2 with Hadoop® 2.8 这个版本里的 Hadoop 用户名是绑定了的么?export HADOOP_USER_NAME=hdfs 即使这样绑定了 执行是还是报错

hdfs hadoop flink

DATAX hdfsreader读取hive orc 写入mongodb读取端丢数

有张分区每个分区后 5000kw 的表,并行导了几天的数进mongodb, 部分日期 出现 数据丢失。整个过程 datax无报错 ,有的日期丢失超过1000w数据。导入过程后两天出现过 hdfs空间满的情况,也就是 导入时 空间使用率很高…

MongoDB hdfs 日志 Hive datax

Hadoop即将过时了吗?

从2014年起Hadoop即将过时了就已经被广泛讨论,但是至今hadoop仍活跃在很多企业的技术栈中。首先介绍一下hadoop:Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开…

分布式 架构 hdfs hadoop 集群 分布式文件系统 分布式系统 Mapreduce 存储

盘古是系统级文件系统么?

HDFS的datanode是基于本地文件系统的,盘古的chunkserver也是基于本地的文件系统么? 也就是说,盘古是在磁盘上创建文件系统之后才能将磁盘空间加入到集群使用么?

系统研发与运维 hdfs 集群 磁盘

EMR的HIVE支持CTAS吗?或者HIVE的运行结果如何导入OSS?

OSS接入EMR,用hive处理数据,create table as select ,结果报错 Error creating temporary folder on: hdfs://好像输出路径有问题,求大神指教

大数据 OSS hdfs EMR Hive Create

AnalyticDB的持久化存储是放在ECU本地?还是放在远端飞天的HDFS?

我看到阿里官网介绍AnalyticDB,说很像Impala。Impala底层持久化存储是HDFS,实现了计算存储分离,那么AnalyticDB底层持久化存储是不是基于飞天HDFS?如果是,那购买ECU的时候为什么还有本地存储(HDD/SSD…

飞天 hdfs AnalyticDB

DataX hdfs到mysql mysql到hdfs传输速度问题

同样大的数据从hdfs到mysql Speed 显示的为3.1MB/s左右待数据传输到mysql中后,对传入的数据进行myql 到 hdfs的数据传输 此时的传输速度却达到speed 11.15MB/s希望技术大神给予帮助 现在这谢谢各位了…

云栖社区 系统软件 数据存储与数据库 mysql hdfs

1
GO