1. 云栖社区>
  2. 全部标签>
  3. #hadoop#
hadoop

#hadoop#

已有18人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

Hadoop技术怎么样?湖北做大数据平台的企业有哪些?

Hadoop技术怎么应用,有哪些是比较好

大数据 hadoop 大数据平台

在阿里云部署成功hadoop后无法访问hdfs页面

hadoop配置成功了 也启动了 hdfs页面访问不到 hadoop的版本是3.2.0 端口监听页面如图所示 急急急 大哥们帮帮忙看一下

大数据 hdfs hadoop 配置

大神们,你们一般hadoop设置几个副本啊?

转自钉钉群21789141:大神们,你们一般hadoop设置几个副本啊?2个够不够

hadoop 钉钉 flink 实时计算

flink on yarn 如何实现HA

我们目前是使用的flink1.6.1 和2.8.1版本的hadoop,实验过程中发现正在运行的flink job会出现taskmanager丢失失去所有的slot的情况,所以想添加HA配置,但是有两个疑问:1.flink on yarn的H…

实时系统 hadoop 配置

eclipse远程连接hadoop2.7.7无法实现

本地wind7的eclipse连接云服上的hadoop2.7.7,看了网上很多hadoop2x-eclipse-plugin插件连接的方法,根据网上说的,我下载了hadoop2.7.7的源码(src),tar(只是解压没有配置)还有我运行在…

云栖社区 RPC 大数据 分布式系统与计算 服务器 hadoop 源码 eclipse 配置 集群 测试 Image 远程连接 插件 Mapreduce

phoenix通过中间机器访问hbase,报region is not online

我在线下通过phoenix访问hbase集群,由于线下与线上不互通,需要通过中间机器进行访问,测试的时候就报错:org.apache.hadoop.hbase.NotServingRegionException: Region SYSTEM…

云栖社区 大数据 hbase hadoop Apache 配置 集群 测试

在CentOS上远程删除docker镜像的问题

我在5个不同的CentOS节点上使用Rancher安装了一个Kubernetes集群(比如node1,node2,...,node5)。对于我们的CI运行,我们需要在每次运行之前清理过时的docker镜像。我创建了一个在node1上运行的…

docker hadoop 镜像 集群 SSH centos 脚本 awk k8s

org.apache.avro.SchemaParseException:未定义的名称

我的spark工作是从kafka读取并解码消息。我的spark工作在MAC 上的本地spark集群(https://archive.apache.org/dist/spark/spark-2.2.1/spark-2.2.1-bin-had…

java docker hadoop Apache 集群 OpenStack spark schema parse k8s

请问如何开启购买的几台ECS之间是端口全部互相开放的

请教一下,有没有以上问题的解决方法,主要是我在搭建hadoop集群环境的时候,执行MR时端口好像是随机指定的,每次我都需要看日志查看是去连接服务端的哪个端口,然后再把这个端口配置到安全组里面,才可以执行成功。每次都这样的话,非常麻烦,有大神…

hadoop ECS 日志 配置 安全组 集群 端口

想问下 Flink 1.6.2 with Hadoop® 2.8 这个版本里的 Hadoop 用户名是绑定了的么?

想问下 Flink 1.6.2 with Hadoop® 2.8 这个版本里的 Hadoop 用户名是绑定了的么?export HADOOP_USER_NAME=hdfs 即使这样绑定了 执行是还是报错

hdfs hadoop flink

解析Apache Spark Scala中的数据org.apache.spark.SparkException:尝试使用textinputformat.record.delimiter时出现任务无序列化错误

输入文件: DATE 2018-11-16T06:3937Linux hortonworks 3.10.0-514.26.2.el7.x86_64 #1 SMP Fri Jun 30 05:26:04 UTC 2017 x86_64 x8…

linux hadoop Apache spark scala xml class type read pattern Mapreduce input

(Linux AMI)EMR Cluster版本的`free`命令

free`命令(Linux AMI)EMR Cluster版本(Linux AMI)EMR Cluster版本的free命令当我从AWS Linux AMI启动pyspark时,我正试图分配内存来激发 - 也就是说,当我调用pyspark…

linux hadoop cluster 集群 spark API EMR

在初始化spark上下文后,在运行时更改pyspark的hadoop配置中的aws凭据

我已经在Stack Overflow上查看了相关问题的解决方案,但似乎这个问题相当独特。对于上下文,由于公司程序的原因,我需要每小时刷新一次AWS安全凭证,而我正在努力将新刷新的安全凭证添加到spark中。在第一个小时内一切正常(我可以从…

java hadoop Apache 配置 request spark scala EMR

hbase 2.0.2 可以运行在Hadoop 3.0上吗?

hbase 2.0.2 可以运行在Hadoop 3.0上吗?

帮助 hbase hadoop

更改Spark中的Metastore URI

在我的工作中,有不同的环境(开发,预生产和生产),在每个环境中,我们在其Hive Metastore中都有某些表。我的用户有权通过直接访问和查询所有这些Metastore,但我想使用sqlContext(或HiveContext)在spa…

java hadoop SQL Apache spark scala Hive class

有没有办法了解spark如何加载类路径以及以何种顺序加载?

我正试图在EMR上运行一个带有自定义spark作业,并试图在驱动程序的额外类路径中使用自定义jar spark.driver.extraClassPath /usr/lib/hadoop/lib/hadoop-lzo.jar:/usr/l…

java jvm hadoop Apache spark Driver EMR file

错误,spark-submit --master yarn --deploy-mode cluster

在AWS EMR系统上提交我的应用程序时,我遇到了以下错误。在客户端模式下提交spark应用程序正常。如果为了在aws emr中以集群模式工作,需要完成其他任何配置,请告诉我。 [hadoop@ip-172-31-81-182 ~]$ s…

hadoop cluster spark IP view

Airflow SparkSubmitOperator - 如何在另一台服务器中进行spark-submit

我们的airflow 调度程序和我们的hadoop集群没有设置在同一台机器上(第一个问题:这是一个好习惯吗?)。 我们有许多需要调用pyspark脚本的自动过程。那些pyspark脚本存储在hadoop集群(10.70.1.35)中。ai…

服务器 hadoop 集群 spark 脚本 xml file

使用pyspark将csv文件转换为parquet文件:Py4JJavaError:调用o347.parquet时发生错误[duplicate]

我正在尝试将csv转换为Parquet。我使用python 3.6和spark 2.3.1 64位。我无法找到给定追溯的解决方案。我也使用64位python。 我有这个csv: Corp,Vathanya BeckCorp,Mario B…

java hadoop SQL Apache shell spark scala Create csv

上一页 1 ... 2 3 4 5 6 ... 15 下一页
15
GO