1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. X>
  5. 学习Spark

当前主题:学习Spark

Apache Spark中国技术交流社区历次直播回顾(持续更新)

8月28日【Spark Streaming SQL流式处理简介】 主讲人:云魄,阿里云E-MapReduce 高级开发工程师,专注于流式计算,Spark Contributor,开源爱好者 简介:本次直播将简要介绍EMR Spark Streaming SQ

阅读全文

Apache Spark中国技术交流社区历次直播回顾(持续更新)

8月28日【Spark Streaming SQL流式处理简介】 主讲人:云魄,阿里云E-MapReduce 高级开发工程师,专注于流式计算,Spark Contributor,开源爱好者 简介:本次直播将简要介绍EMR Spark Streaming SQ

阅读全文

实时计算Flink云原生版本正式发布

Why Flink on Kubernetes Apache Flink是Apache社区的顶级开源项目,主攻流计算领域,具备高吞吐,低延时的特点,在流计算领域已经取代了storm/spark streaming,成为了目前流式处理领域的最热门引擎。主要应用

阅读全文

阿里巴巴大数据产品最新特性介绍--机器学习PAI

以下内容根据演讲视频以及PPT整理而成。 本次分享主要围绕以下五个方面: PAI产品简介 自定义算法上传 数加智能生态市场 AutoML2.0自动调参 AutoLearning自动学习 一、PAI产品简介与功能发展 1. PAI-Studio 在PAI的架构

阅读全文

面向海量数据的极致成本优化-云HBase的一体化冷热分离

前言 随着业务的持续发展,业务数据库存储量会持续增长。通常数据量过亿时,就需要考虑做分库分表,或者选择扩展能力更好的NOSQL/NewSQL数据库,如HBase就可以单表支持PB级数据,足够满足大多数业务的存储需求。然而,对于大量存储瓶颈类业务,存储成本依然

阅读全文

从校招生到核心架构师,支付宝研究员李俊奎谈如何成为一名优秀的程序员 | 9月16号栖夜读

点击订阅云栖夜读日刊,专业的技术干货,不容错过! 阿里专家原创好文 1.从校招生到核心架构师,支付宝研究员李俊奎谈如何成为一名优秀的程序员 校招进入支付宝,11年时间,从一线工程师成长为支付宝安全核心架构师,这个技术牛人就是李俊奎。李俊奎一直聚焦风控平台的技

阅读全文

ElasticDL: Kubernetes-native 弹性分布式深度学习系统

9月11日,蚂蚁金服在 Google Developer Day Shanghai 2019 上宣布开源了基于 TensorFlow 2.0 eager execution 的分布式深度学习系统 ElasticDL。基于 TensorFlow 的支持弹性调度

阅读全文

图数据库爱好者的聚会在谈论什么?

Nebula Graph:一个开源的分布式图数据库。作为唯一能够存储万亿个带属性的节点和边的在线图数据库,Nebula Graph 不仅能够在高并发场景下满足毫秒级的低时延查询要求,还能够实现服务高可用且保障数据安全性。 聚会概述 在上周六的聚会中,Nebu

阅读全文

学习Spark相关问答

查看更多 提问题

Spark Streaming 作业已经结束,但是 E-MapReduce 控制台显示作业还处于“运行中”状态

Spark Streaming 作业已经结束,但是 E-MapReduce 控制台显示作业还处于“运行中”状态

阅读全文

Apache Spark使用Java从CSV读取数组float [duplicate]

我正在使用Java开发一个新的Spark项目。我必须从CSV文件中读取一些数据,这些CSV有一个浮点数组,我不知道如何在我的数据集中获取此数组。 我正在读这个CSV: [CSV data image][1] https://imgur.com/a/

阅读全文

Spark-Submit with Pyspark文件。

我正在尝试在集群中测试TensorflowOnSpark程序。我想我使用的是错误的spark-submit命令。请看下面 我试图提交一份如图所示的工作 ~]$ spark-submit mnistOnSpark.py --cluster_size

阅读全文

[@徐雷frank][¥20]学习大数据开发Java与Scala如何选择

准备学习spark开发,Java与Scala如何选择

阅读全文

[职业生涯] Java工程师发展问题

您好,我做Java工程师大约有4个年头了,4年除Java外还学习了python、scala、hadoop、spark、这些东西,但都没有实战,这些年技术用的很多也很杂。 我现在遇到了问题,很多技术仅仅局限在会用的基础上,对于原理并不是很清楚,去看源代码也看不

阅读全文

JVM - 为什么YoungGen在gc之间使用堆减少?

下面是一些apache Spark执行器的GCViewer图: 老gen使用堆 年轻的gen使用堆 GC时间 有问题的现象 我试着去理解(4)中的斜率。为什么gc会在使用整个年轻的gen堆之前启动(就像以前的gcs阶段一样)?为什么它会在恢复之前

阅读全文

大数据-基于Spark的机器学习-智能客户系统是怎么操作的?

大数据-基于Spark的机器学习-智能客户系统主要适用于做什么,对于企业有什么作用?

阅读全文

[@徐雷frank][¥20]关于Spark Streaming 的问题,使用Scale继续开发,还是用Java好 用Java是否方便。

知道他的源码是Scale编写的,但是不想学习新语言,看了看也和Java差不太多 请问直接用Java可以编写吗,是否方便,Springboot如何介入Spark Streaming

阅读全文