1. 云栖社区>
  2. 全部标签>
  3. #hadoop#
hadoop

#hadoop#

已有18人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

[@小川游鱼][¥20]基于hadoop框架的java开发最新技术以及学习流程?

问题来自Java技术沙龙的王云慧Java技术沙龙报名链接:https://yq.aliyun.com/promotion/796

java hadoop aliyun

无法为shc-core导入sbt依赖项

我正在尝试使用spark连接到hbase,我想使用hortonworks shc,但是我无法为shc-core导入sbt依赖(虽然我能导入shc)。以下是built.sbt快照 -name := "untitled" version :=…

hadoop Apache Guava spark google file github

在Amazon EMR上配置Flink Rest API

我在亚马逊的EMR上通过YARN运行Flink应用程序,有一个主服务器和一个服务器。 我正在尝试ssh到主节点然后访问Flink REST API,但无法使EMR静态使用相同的主机/端口。 我已经尝试将此配置添加到EMR并从当前主节点的私…

服务器 hadoop Apache web 配置 主机 API EMR REST flink

运行Apache Flink时出现java.lang.ClassNotFoundException:com.mongodb.hadoop.mapred.MongoInputFormat

我正在用Java创建一个flink系统来读写MongoDB。我在JDK 1.8.0_181中使用mongo-hadoop-core版本1.3.2和Apache flink 1.6。 当我在Eclipse中运行源代码时,一切都运行成功,但是…

java native MongoDB hadoop Apache API class Security flink

如何在Flink中为Google Cloud Storage创建RecoverableWriter

我想使用Google Cloud Storage来编写(汇总)DataStream流媒体作业中的元素StreamingFileSink。 为此,我使用了用于Hadoop的Google Cloud Storage连接器作为其实现org.ap…

docker hdfs hadoop Cloud Apache 集群 google flink

Flink 1.5.4没有在Kubernetes中注册Google云端存储(GCS)文件系统,尽管它在docker容器中有效

我试图启动一个flink-jobmanager坚持其在GCS状态,所以我加了high-availability.storageDir: gs://BUCKET/ha一行到我flink-conf.yaml和我建立我的Dockerfile描述…

java docker hadoop Apache 容器 runtime Core google Create Security 存储 flink

在AWS EMR中部署Flink自定义JAR文件时出错

基本上我想将Flink自定义JAR文件部署到新的AWS EMR集群。以下是我所做的总结。我创建了一个新的AWS EMR集群。 第1步:软件和步骤更改 - 使用flink作为服务创建AWS EMR集群。(EMR发布版本 - 5.17.0)并…

java hadoop Apache 配置 集群 runtime EMR class file Security flink

Flink 1.6 bucketing sink HDFS文件卡在.in-progress中

我正在将Kafka数据流写入HDFS路径中的bucketing sink。卡夫卡发出了字符串数据。使用FlinkKafkaConsumer010从Kafka使用 -rw-r--r-- 3 ubuntu supergroup 40…

hdfs hadoop ubuntu 函数 Oracle 数据流 flink 流数据

Hadoop集群监控工具

最近集群正在做升级,之前规模较小,基本没用什么集群监控的软件(用了一段时间的monit,发现还是不太好用,不直观——非技术人员表示看不懂,哎),现在集群规模扩大,命令行实在是有点操作不过来,请问一下有没有什么比较好的Hadoop集群监控的推…

监控 服务器 hbase hdfs hadoop 集群 spark 监控工具 组件 硬件

spark 错误请求

我正在尝试从s3读取orc文件。我可以从spark-shell中读取它,如下所示。 scala> val df = spark.read.format("orc").load("s3a://bucketname/testorc/pe…

hadoop SQL Apache 配置 Algorithm request spark Driver Mapreduce

flink on yarn错误“Yarn只有-1个虚拟核心可用”

"我已经安装了Cloudera CDH 6,然后我想使用flink网站上的软件包安装flink,并运行它“flink on yarn”。 我已完成以下步骤:1。编辑/ etc / profile export HADOOP_CONF_DI…

hadoop 配置 集群 flikn

使用flink的kafka到opentsdb:java.lang.NoClassDefFoundError:无法初始化类org.apache.http.conn.ssl.SSLConnectionSocketFactory

"这是我的代码: def saveToOpenTSDB(rows: Iterator[String], url: String) { val requestConfig: RequestConfig = RequestConf…

java jvm hadoop Apache 配置 SSL runtime string REST flink

Azure Flink中的src文件系统上的资源已更改

"在Azure HDInsights群集上设置flink时会出现异常。 ./bin/yarn-session.sh -n 4 -jm 1024m -tm 4096m抛出: org.apache.flink.client.deploymen…

java hadoop 线程 Apache cluster session 存储 flink

在将Flink数据集写入hdfs时如何创建Job对象

"我想写一些数据集给hive。我试过hive jdbc,但它不支持batchExecute。所以我改为将其写入hdfs,然后生成hive表。 我尝试使用以下代码来编写hdfs: package test; import org.apach…

java hdfs hadoop Apache path API string static Hive class void Mapreduce flink

hive中的avg聚合函数是否可以使用combiner功能?

select deptno, sum(sal) as sum_sal from emp group by deptno; -- 这个SQL肯定是可以使用到Combiner功能的 select deptno, avg(sal) as av…

hadoop 函数 SQL BY Hive Group combiner

spark读取parquet 找不到 org/apache/hadoop/fs/FSDataInputStream

在spark-env里加上了export SPARK_DIST_CLASSPATH=$(hadoop classpath)也没用 有人遇到过吗

云栖社区 数据存储与数据库 hadoop Apache spark

spark的spark-sql及Thrifserver的区别

1、beelin通过jdbc去连接 远程的sql服务Thriftserver,不依赖spark以及hadoop的con,且不占用客户端资源2、spark-sql的话,spark的driver要占用客户端机器的资源,依赖spark及hadoo…

hbase hadoop SQL spark JDBC Driver

[职业生涯] Java工程师发展问题

您好,我做Java工程师大约有4个年头了,4年除Java外还学习了python、scala、hadoop、spark、这些东西,但都没有实战,这些年技术用的很多也很杂。我现在遇到了问题,很多技术仅仅局限在会用的基础上,对于原理并不是很清楚,…

云栖社区 python 帮助 Java核心技术 java hadoop spark scala

yarn中同一个container的private和application资源下载时,把一个单线程的线程池改成多线程,这样会导致冲突吗?

同一个container的private和application资源下载时,是使用了一个单线程的线程池,我现在把这个线程池改成多线程,这样会导致冲突吗?如果改成了多线程,但是下载的文件的存放目录并没有改变,比如那个目录下原来是A.jar和B…

大数据 hadoop 线程 多线程 yarn

yarn的private和application类型的资源,如果改成并发下载,会导致jar包下载顺序改变,从而造成依赖包冲突吗?

yarn的private和application类型的资源,如果改成并发下载,会导致jar包下载顺序改变,从而造成依赖包冲突吗?

大数据 hadoop yarn

上一页 1 ... 4 5 6 7 8 ... 15 下一页
15
GO