已有24人关注此标签
spark 访问不了oss
作者： 云海漫步
1291人浏览
2人回答
用github上的aliyun-emapreduce-demo， Spark本地应用访问oss遇到的问题：在源文件的src/main/scala/com/aliyun/emr/example/RunLocally.scala 中 con…
Spark和页面交互，如何显示结果
作者： wjj5699121
1481人浏览
2人回答
如题，spark集群搭建好，如何通过java web提交任务让spark处理，并返回结果集给页面显示。可以通过哪些技术实现？？？有没有实践过的，分享一下经验或者思路。想达到的效果是，通过页面一个按钮，spark处理数据，然后页面显示结果
新兴大数据生态环境能否完全替代原数据仓库生态
作者： 闻术苑
832人浏览
1人回答
现在到处在喊大数据，Hadoop，Spark等等，那么基于这些大数据组件构建的数据存储，能否完全替代原来IBM DB2，Oracle 数据仓库、Teradata等优势厂家许多年形成的数据仓库生态呢？
Oozie如何停止已提交到yarn的Sparkstreaming程序？
作者： freeboy_mallco
1223人浏览
0人回答
Oozie提交Sparkstreaming程序到yarn运行后，Sparkstreaming会一直处于Running状态，kill掉Oozie的工作流后，已提交到yarn的Sparkstreaming还是在运行，如何优雅的停止它？
Java 日志服务如何使用流式计算消费？
作者： gsy_yang
1607人浏览
1人回答
需求说明：需要记录用户访问时间，url，请求参数，用户id，来定时更新用户的最近访问时间(DB中)使用Java SDK实现了日志服务的实时采集，如何通过流式计算来消费？具体：spark streaming与streamCompute消费的区…
spark集群IP管理
作者： 云里雾外
1212人浏览
0人回答
部署spark集群的时候，所有节点都需要通过 hostname能找到对应机器的IP，有什么好的方案可以实现？还有master上的slaves文件可以动态加载新的node或者worker么？
E-mapreduce中用spark streaming 读取Loghub的问题
作者：匿名作者
1349人浏览
3人回答
大家好。我在测试使用E-mapreduce中的spark streaming来采集Loghub的数据时，遇到点问题。我用Loghub监控一个文本文件，采用的是极简模式。该文本文件，每隔三秒生成一个1到10的随机数，如下图所示。 我修改了E…
Spark 接入 Log Service，从日志头部开始消费要怎么配置
作者： f7anty
1768人浏览
1人回答
如题，spark消费logservice中的日志数据，默认是从尾部开始消费，怎么配置从头部开始消费val loghubStream = LoghubUtils.createStream( ssc, loghubProject, …
e-mapreduce运行任务时 经常报错Caused by: java.lang.OutOfMemoryError: Java heap space
作者：匿名作者
1246人浏览
1人回答
e-mapreduce运行任务时 经常报错Caused by: java.lang.OutOfMemoryError: Java heap space 查看系统内存都是正常的，这个内存怎么配置呢 ？
关于emapreduce网络的问题
作者：匿名作者
1095人浏览
1人回答
相同地域，不同可用区下的E-MapReduce的节点与我其他的ecs主机内网是否通？不同地域下，E-MapReduce的节点与我其他的ecs主机内网是否通？不同账号下，相同地域E-MapReduce的节点与我其他的ecs主机内网是否通？
使用emr，spark怎么访问hbase？
作者：匿名作者
1409人浏览
1人回答
大家好，我正在使用阿里云的产品，现在公司要求使用spark访问Hbase，如何将一个Rdd写入Hbase，java语言，求指导
com.esotericsoftware.kryo.KryoException: java.io.IOException: No space left on device
作者：匿名作者
2534人浏览
1人回答
com.esotericsoftware.kryo.KryoException: java.io.IOException: No space left on device 请问报这个错是什么意思？我是把数据保存在oss上的
Spark集群配置slaves为外网IP,但是在网页中查看时还是内网IP，无法通过外网直接访问?
作者： sunzonedu
1771人浏览
2人回答
1).在阿里云服务器集群上构建了 spark集群环境2).master 和 slaves都配的是外网ip3).启动页面后，在网页上查看各节点计算信息时，链接的都是内网IP4).需求是想通过外网直接访问各节点的页面信息
您好，我在用EMR的时候一个key对应140W的value，用附件中的配置去跑，怎么调试都是内存溢出，能给我们这边建议的设置吗？SparkConf的设置 和 服务器应该使用什么样的配置？
作者：匿名作者
1217人浏览
1人回答
您好，我在用EMR的时候一个key对应140W的value，用附件中的配置去跑，怎么调试都是内存溢出，能给我们这边建议的设置吗？SparkConf的设置 和 服务器应该使用什么样的配置？
