开源大数据EMR + 关注

开源大数据EMR 发表了文章:

【译】Spark Streaming 框架在 5G 中的应用

发布时间:2019-06-20 22:53:32 浏览:778 回帖 :0

原文链接: Applying the Spark Streaming framework to 5G 我们已经很长时间没有更新流处理框架的相关博客(apache-storm-vs-spark-str...

云栖社区 性能 Apache spark Cassandra 电信 Blog 数据存储 流数据

开源大数据EMR 发表了文章:

钉钉群直播【MLFlow和spark在机器学习方面的进展、Project Hydrogen和spark在深度学习方面的进展 】

发布时间:2019-06-17 16:09:35 浏览:1032 回帖 :0

直播主题:【MLFlow和spark在机器学习方面的进展、Project Hydrogen和spark在深度学习方面的进展 】 时间:6月19日 19:30-20:30 分享嘉宾:江宇,阿里云EM...

云栖社区 编程语言 系统研发与运维 深度学习 大数据 hadoop 钉钉 spark EMR

开源大数据EMR 发表了文章:

EMR Spark Relational Cache的执行计划重写

发布时间:2019-06-17 16:07:32 浏览:8032 回帖 :0

作者:王道远,花名健身, 阿里巴巴计算平台EMR技术专家。 背景 EMR Spark提供的Relational Cache功能,可以通过对数据模型进行预计算和高效地存储,加速Spark SQL,为...

云栖社区 编程语言 系统研发与运维 移动开发与客户端 Cache spark EMR aggregate

开源大数据EMR 发表了文章:

使用EMR Spark Relational Cache跨集群同步数据

发布时间:2019-06-05 17:32:08 浏览:1110 回帖 :1

Relational Cache是EMR Spark支持的一个重要特性,主要通过对数据进行预组织和预计算加速数据分析,提供了类似传统数据仓库物化视图的功能。除了用于提升数据处理速度,Relationa...

大数据 分布式系统与计算 Json 数据处理 数据仓库 集群 Cache 数据分析 同步 spark string EMR 数据同步 分区表

开源大数据EMR 发表了文章:

钉钉群直播【Structured Steaming的进阶与实践 】

发布时间:2019-06-04 12:10:13 浏览:711 回帖 :0

structured steaming因其低时延和提供的SQL API等特性被越来越多的企业所使用,作为实时计算的首选。 本次分享structured steaming的使用,包含spark 2.4...

云栖社区 数据存储与数据库 互联网产品及应用 大数据 SQL 钉钉 spark API e-mapreduce

开源大数据EMR 发表了文章:

使用Apache Arrow助力PySpark数据处理

发布时间:2019-05-30 10:42:38 浏览:1281 回帖 :0

Apache Arrow从Spark 2.3版本开始被引入,通过列式存储,zero copy等技术,JVM 与Python 之间的数据传输效率得到了大量的提升。本文主要介绍一下Apache Arrow...

云栖社区 python 深度学习 大数据 SQL Apache 数据处理 spark DataFrame pandas stream schema UDF 数据结构 存储

开源大数据EMR 发表了文章:

钉钉群直播【Migration to Apache Spark】

发布时间:2019-05-27 14:06:35 浏览:915 回帖 :0

Spark因其统一引擎、性能、易用性等特点备受青睐,将大数据处理引擎迁移到Spark已经成为一种趋势(比如将Hive迁移到SparkSQL),很多大公司也正在实践。 本次分享将围绕Hive迁移到...

nginx 编程语言 移动开发与客户端 网络与数据通信 ios 大数据 性能 Apache 钉钉 spark Hive 安全问道

开源大数据EMR 发表了文章:

Apache Spark中国技术交流群升级到企业群啦!!!!!!

发布时间:2019-05-24 15:17:37 浏览:1326 回帖 :4

普通群容量已满足不了Spark群众日益增长的热情,因此我们做了一个重要的决定,将全部群成员转移到企业群

云栖社区 系统软件 数据存储与数据库 系统研发与运维 Apache Image 钉钉 spark 机器人

开源大数据EMR 发表了文章:

TalkingData的Spark On Kubernetes实践

发布时间:2019-05-22 10:47:10 浏览:1525 回帖 :0

本文整理自talkingdata云架构师徐蓓的分享,介绍了Spark On Kubernetes在TalkingData的实践。

日志 配置 镜像 cluster 集群 Image node spark Driver ks8

开源大数据EMR 发表了文章:

微软发布 .Net for Apache Spark :用什么语言开发大数据都可以

发布时间:2019-05-22 10:09:08 浏览:909 回帖 :0

Apache Spark 是当今最流行的开源大数据处理框架。Spark 用于进行分布式、大规模的数据处理,提供了更高级的编程接口、更高的性能。除此之外,Spark 不仅能进行常规的批处理计算,还提供...

python 大数据 性能 Apache 可扩展性 测试 Image spark DataFrame API c#

开源大数据EMR 发表了文章:

钉钉群直播【基于Spark实现的MLSQL如何帮助企业构建数据中台】

发布时间:2019-05-21 11:09:35 浏览:684 回帖 :0

数据中台应该是什么样子?如何基于MLSQL完成数据中台的构建? MLSQL是如何基于Spark来完成这些扩展的? Databricks公司新开元项目Delta对于数据和机器学习的意义何在?

云栖社区 系统软件 网络与数据通信 大数据 架构 钉钉 spark 安全问道

开源大数据EMR 参与了问答:

请教一下,delta是不是可以理解为,是基于hdfs的行级别的数据库?然后对于更新数据对于hdfs产生小文件的解决方案是他会提供merge机制?

delta是不是可以理解为,是基于hdfs的行级别的数据库?然后对于更新数据对于hdfs产生小文件的解决方案是他会提供merge机制?

“是的,可以大致这样理解。是行级别的,但下面存储格式基本上还是以 Parquet/ORC 列式为主;delta 小文件要及时合并的,否则性能很差。数据库这个提法不一定好,因为并不会用于 OLTP;可以说...查看全部>

开源大数据EMR 参与了问答:

workflow这个功能很期待,想问下他的工作流之间的依赖关系是怎么建立的,是用户自己定义么?

workflow这个功能很期待,想问下他的工作流之间的依赖关系是怎么建立的,是用户自己定义么?

“这个问题很高级,你们是不是已经在玩了?不过工作流的定义过程里面,必然会形成各个工作流节点之间的依赖关系,定义工作流本身就是定义各个节点和他们之间的上下游关系,也就形成了这些依赖关系。如果你问的是多个工...查看全部>

开源大数据EMR 参与了问答:

spark 与 tensorflow 结合有没有方案?

spark 与 tensorflow 结合有没有方案?

“分享里面(4月28日钉钉群分享)提到的 Hydrogen 项目就是要系统支持这些深度学习框架的。Spark 3.0 会包含进去。你找到相关 SPIP,JIRA 和 PPT 挖一下。”

开源大数据EMR 参与了问答:

E-MapReduce 集群 header 节点有公网 IP,存在安全风险,是否可以通过 ECS 控制台关闭公网 IP,关闭公网 IP 是否会对 E-MapReduce 服务产生影响?

E-MapReduce 集群 header 节点有公网 IP,存在安全风险,是否可以通过 ECS 控制台关闭公网 IP,关闭公网 IP 是否会对 E-MapReduce 服务产生影响?

“如果您没有使用 EMR 的统一元数据库功能,可以关闭公网 IP。”

开源大数据EMR 参与了问答:

如何登陆 Core 节点,并进行 root 权限操作

如何登陆 Core 节点,并进行 root 权限操作

“请参考文档创建集群登录 Core 节点部分”

开源大数据EMR 参与了问答:

E-Mapreduce 主节点不允许安装其它软件?

E-Mapreduce 主节点不允许安装其它软件?

“理论上可以在不破坏集群环境的前提下安装。但是这些软件的运行可能会影响到集群的稳定可靠性,不建议进行此类操作。”

开源大数据EMR 参与了问答:

已有/现存 ECS 是否可以用到 EMR 集群中

已有/现存 ECS 是否可以用到 EMR 集群中

“目前还不能支持,用户要创建 EMR 集群需要在 EMR 控制台上来创建 ECS。”

开源大数据EMR 参与了问答:

自动续费

emr是自动续费?

“EMR 支持自动续费操作,支持 EMR 和 ECS 的自动续费。”

开源大数据EMR 参与了问答:

集群续费问题

续费了但是还是会通知说没有续费

“续费操作请参考集群续费。经常会有用户反馈续费了但是还是会通知说没有续费。这是因为 EMR 现在有 2 块,一块是 EMR,一块是 ECS,大部分的用户都只是续费了 ECS 而没有续费 EMR。您可以打...查看全部>
5
暂未提供

感兴趣or擅长的领域:

暂无
更多>
xiajunluan
xiajunluan
文章:0丨 粉丝:161丨 话题:0
蓝天0802
蓝天0802
文章:6丨 粉丝:161丨 话题:0
鸿初
鸿初
文章:21丨 粉丝:177丨 话题:0
eric-li
eric-li
文章:5丨 粉丝:166丨 话题:0
云学习小组
云学习小组
文章:192丨 粉丝:50551丨 话题:0
健身不健身
健身不健身
文章:3丨 粉丝:797丨 话题:0
更多>
游客6bibmiqjrdjn4
游客6bibmiqjrdjn4
文章:0丨 粉丝:0丨 话题:0
游客ifnwkhgun5x2s
游客ifnwkhgun5x2s
文章:0丨 粉丝:0丨 话题:0
游客m55b5g2x4iqog
游客m55b5g2x4iqog
文章:0丨 粉丝:0丨 话题:0
游客hu5dka53atdmk
游客hu5dka53atdmk
文章:0丨 粉丝:0丨 话题:0
biglau
biglau
文章:0丨 粉丝:0丨 话题:0
游客ko5cq4gcvivzg
游客ko5cq4gcvivzg
文章:0丨 粉丝:0丨 话题:0
杂志