已有1人关注此标签
如何知道亚马逊emr集群上的mapred-site值？
作者： 小六码奴
300人浏览
1人回答
我遇到了内存问题，所以我查找了参数的默认值，如： mapreduce.map.memory.mbmapreduce.reduce.memory.mbmapreduce.map.java.opts在亚马逊文档上，并发现默认值很低。所以，我在…
来自Spark的S3写入间歇性地失败，错误代码为404 NoSuchKey
作者： 小六码奴
287人浏览
1人回答
我每隔5分钟写入s3的spark作业（EMR），每天都会写几次，但有以下异常。知道是什么原因引起的吗？ 码： ds.write .mode("overwrite") .format("parquet") .save("s3:/…
TEZ映射器资源请求
作者： 小六码奴
324人浏览
1人回答
我们最近从MapReduce迁移到TEZ，以便在EMR上执行Hive查询。我们正在看到确切的配置单元查询启动非常不同数量的映射器的情况。见下面的地图3阶段。在第一次运行时，它请求305个资源，在另一次运行时，它请求4534个映射器。（请忽…
MapReduce中oss客户端连接问题
作者： 游客ems5bvos2dsoa
193人浏览
1人回答
如果存在过多的map任务，每个map任务中存在一个oss连接。那么oss链接数目过多，怎样能维护oss客户端数目呢？
eclipse远程连接hadoop2.7.7无法实现
作者： 缘分壹道桥
504人浏览
1人回答
本地wind7的eclipse连接云服上的hadoop2.7.7，看了网上很多hadoop2x-eclipse-plugin插件连接的方法，根据网上说的，我下载了hadoop2.7.7的源码（src），tar（只是解压没有配置）还有我运行在…
还在手写上千行 MapReduce 来实现矩阵乘？一行就够了！还快十倍！
作者： 晋恒
46784人浏览
28人回答
Mars科学计算引擎—源于MaxCompute，阿里首款自研科学计算引擎开源 听到 Mars，很多同学都会产生灵魂三问吧：Mars 是什么，能做什么，怎么做的？ 权威解读 源于MaxCompute 的Mars 作为全新一代分布式科学计算…
odps跑mapreduce时报错com.aliyun.odps.subprocess.channel.ChannelReplyException
作者： meisme
431人浏览
1人回答
在阿里云上跑spark任务时报错
解析Apache Spark Scala中的数据org.apache.spark.SparkException：尝试使用textinputformat.record.delimiter时出现任务无序列化错误
作者： 社区小助手
291人浏览
1人回答
输入文件： DATE 2018-11-16T06:3937Linux hortonworks 3.10.0-514.26.2.el7.x86_64 #1 SMP Fri Jun 30 05:26:04 UTC 2017 x86_64 x8…
什么是Mapreduce相当于Spark中的top（）函数？
作者： flink小助手
241人浏览
1人回答
我正在尝试为Mapreduce实现找到spark中的等效解决方案top()和take()函数。我想提取前k个值，而不保存整个键，值对。
[@徐雷frank][¥20]如何搭建Hadoop处理环境？
作者： 晓生寒
366人浏览
1人回答
Apache Hadoop 是用于开发在分布式计算环境中执行数据处理应用程序的框架。旨在从单个服务器提供存储和计算资源的方式扩展到数千台机器。Apache Hadoop的核心部分由存储部分（Hadoop分布式文件系统）及其数据处理部分（Ma…
spark 错误请求
作者： 社区小助手
410人浏览
1人回答
我正在尝试从s3读取orc文件。我可以从spark-shell中读取它，如下所示。 scala> val df = spark.read.format("orc").load("s3a://bucketname/testorc/pe…
在将Flink数据集写入hdfs时如何创建Job对象
作者： flink小助手
517人浏览
1人回答
"我想写一些数据集给hive。我试过hive jdbc，但它不支持batchExecute。所以我改为将其写入hdfs，然后生成hive表。 我尝试使用以下代码来编写hdfs： package test; import org.apach…
Spark导入数据到HBase问题(BulkLoad)
作者： hbase小能手
817人浏览
1人回答
import java.util.ArrayList;import java.util.Iterator;import java.util.List;import org.apache.hadoop.fs.Path;import org.…
将hdfs数据写入到phoenix
作者： hbase小能手
658人浏览
1人回答
1、spark方式：官网写入数据有不行，报org.apache.phoenix.mapreduce.PhoenixOutputFormat这个类找不到，但是我这累的jar我确定我已经导入了。2、CsvBulkLoadTool导入数据，可不可…
HBase import时产生得bug
作者： hbase小能手
372人浏览
1人回答
Exception in thread "main" java.lang.IllegalArgumentException: Unable to parse '/hdp/apps/${hdp.version}/mapreduce/mapr…
使用LoadIncrementalHFiles加载hfile后，数据查不出来
作者： hbase小能手
427人浏览
1人回答
需求：将一个集群中phoenix表的数据搬到另一个集群中方法：使用hbase自带的Import和Export命令，先从A集群导出文件，然后将此文件移至B集群hdfs上，在B集群上建表（同样的与预分区），再将此文件转换成hfile，最后使用…
phoenix使用hbase命令激活异步建立的二级索引
作者： hbase小能手
881人浏览
1人回答
命令：hbase org.apache.phoenix.mapreduce.index.IndexTool --schema TEST --data-table USER --index-table ASYNC_INDEX --outpu…
Hadoop即将过时了吗？
作者： 老离
241人浏览
0人回答
从2014年起Hadoop即将过时了就已经被广泛讨论，但是至今hadoop仍活跃在很多企业的技术栈中。首先介绍一下hadoop：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开…
