1. 云栖社区>
  2. 全部标签>
  3. #spark#
spark

#spark#

已有24人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

spark 访问不了oss

用github上的aliyun-emapreduce-demo, Spark本地应用访问oss遇到的问题:在源文件的src/main/scala/com/aliyun/emr/example/RunLocally.scala 中 con…

互联网产品及应用 java OSS spark BY exception thread

hadoop与spark一起使用有做过什么项目吗?

具体做过什么企业实战案例的?

大数据 hadoop spark saprk

大数据-基于Spark的机器学习-智能客户系统是怎么操作的?

大数据-基于Spark的机器学习-智能客户系统主要适用于做什么,对于企业有什么作用?

大数据 java 机器学习 spark 智能

E-MR spark对ODPS分区表的scala例子

有用scala写的,E-MR spark读取ODPS分区表的例子吗?

大数据 odps spark scala 分区表

Spark和页面交互,如何显示结果

如题,spark集群搭建好,如何通过java web提交任务让spark处理,并返回结果集给页面显示。可以通过哪些技术实现???有没有实践过的,分享一下经验或者思路。想达到的效果是,通过页面一个按钮,spark处理数据,然后页面显示结果

java web 集群 spark

Scala问答集锦

Scala是一门多范式的编程语言,一种类似java的编程语言,设计初衷是实现可伸缩的语言、并集成面向对象编程和函数式编程的各种特性。Scala把Erlang风格的基于actor的并发带进了JVM。开发者可以利用Scala的actor模型在…

云栖社区 编程语言 java HTTPS c++ 面向对象编程 问答 spark scala aliyun ask

新兴大数据生态环境能否完全替代原数据仓库生态

现在到处在喊大数据,Hadoop,Spark等等,那么基于这些大数据组件构建的数据存储,能否完全替代原来IBM DB2,Oracle 数据仓库、Teradata等优势厂家许多年形成的数据仓库生态呢?

云栖社区 数据存储与数据库 大数据 hadoop Oracle 数据仓库 spark IBM 数据存储 Teradata

Oozie如何停止已提交到yarn的Sparkstreaming程序?

Oozie提交Sparkstreaming程序到yarn运行后,Sparkstreaming会一直处于Running状态,kill掉Oozie的工作流后,已提交到yarn的Sparkstreaming还是在运行,如何优雅的停止它?

spark sparkstreaming oozie 工作流

Java 日志服务如何使用流式计算消费?

需求说明:需要记录用户访问时间,url,请求参数,用户id,来定时更新用户的最近访问时间(DB中)使用Java SDK实现了日志服务的实时采集,如何通过流式计算来消费?具体:spark streaming与streamCompute消费的区…

java 日志 sdk spark 流式计算 url

spark集群IP管理

部署spark集群的时候,所有节点都需要通过 hostname能找到对应机器的IP,有什么好的方案可以实现?还有master上的slaves文件可以动态加载新的node或者worker么?

深度学习 分布式系统与计算 集群 node spark

E-mapreduce中用spark streaming 读取Loghub的问题

大家好。我在测试使用E-mapreduce中的spark streaming来采集Loghub的数据时,遇到点问题。我用Loghub监控一个文本文件,采用的是极简模式。该文本文件,每隔三秒生成一个1到10的随机数,如下图所示。 我修改了E…

监控 HTTPS 集群 测试 spark scala e-mapreduce EMR sparkstreaming loghub

Spark 接入 Log Service,从日志头部开始消费要怎么配置

如题,spark消费logservice中的日志数据,默认是从尾部开始消费,怎么配置从头部开始消费val loghubStream = LoghubUtils.createStream( ssc, loghubProject, …

云栖社区 实时系统 日志 LOG sdk 配置 spark e-mapreduce service

emr连接oss超时(ConnectionTimeout)

请问一般是什么原因?

OSS hadoop spark

e-mapreduce运行任务时 经常报错Caused by: java.lang.OutOfMemoryError: Java heap space

e-mapreduce运行任务时 经常报错Caused by: java.lang.OutOfMemoryError: Java heap space 查看系统内存都是正常的,这个内存怎么配置呢 ?

hadoop spark

关于emapreduce网络的问题

相同地域,不同可用区下的E-MapReduce的节点与我其他的ecs主机内网是否通?不同地域下,E-MapReduce的节点与我其他的ecs主机内网是否通?不同账号下,相同地域E-MapReduce的节点与我其他的ecs主机内网是否通?

hadoop spark

使用emr,spark怎么访问hbase?

大家好,我正在使用阿里云的产品,现在公司要求使用spark访问Hbase,如何将一个Rdd写入Hbase,java语言,求指导

hbase hadoop spark

com.esotericsoftware.kryo.KryoException: java.io.IOException: No space left on device

com.esotericsoftware.kryo.KryoException: java.io.IOException: No space left on device 请问报这个错是什么意思?我是把数据保存在oss上的

hadoop spark

Spark集群配置slaves为外网IP,但是在网页中查看时还是内网IP,无法通过外网直接访问?

1).在阿里云服务器集群上构建了 spark集群环境2).master 和 slaves都配的是外网ip3).启动页面后,在网页上查看各节点计算信息时,链接的都是内网IP4).需求是想通过外网直接访问各节点的页面信息

spark

EMR用户反馈测试2万小文件做单词统计时性能差HDFS十几倍

用户反馈测试2万小文件做单词统计时性能差HDFS十几倍

hadoop spark

您好,我在用EMR的时候一个key对应140W的value,用附件中的配置去跑,怎么调试都是内存溢出,能给我们这边建议的设置吗?SparkConf的设置 和 服务器应该使用什么样的配置?

您好,我在用EMR的时候一个key对应140W的value,用附件中的配置去跑,怎么调试都是内存溢出,能给我们这边建议的设置吗?SparkConf的设置 和 服务器应该使用什么样的配置?

spark

28
GO