开源大数据EMR + 关注

开源大数据EMR 发表了文章:

钉钉群直播Spark + AI 北美峰会参会分享

发布时间:2019-04-26 12:41:22 浏览:740 回帖 :0

Spark + AI 北美峰会 2019 盛况依然,这两天正如火如荼。大会的主题是 Build,Unify,Scale,对此如何理解?砖厂这次有哪些重磅消息和重要发布,并作如何解读?Spark 过去几...

云栖社区 系统软件 数据存储与数据库 系统研发与运维 网络与数据通信 linux 分布式 阿里技术协会 钉钉 spark EMR

开源大数据EMR 发表了文章:

从数砖开源 Delta Lake 说起

发布时间:2019-04-25 16:03:59 浏览:7517 回帖 :1

Spark AI 北美峰会的第一天,坊间传闻被证实,Databrics(俗称数砖,亦称砖厂)的杀手锏 Delta 产品特性作为 Delta Lake 项目开源!会前,笔者有幸同砖厂的两位大佬李潇和连城...

云栖社区 数据存储与数据库 大数据 实时系统 hadoop Apache spark 开源大数据 存储 Delta

开源大数据EMR 发表了文章:

浅谈 Spark 的多语言支持(修订版)

发布时间:2019-04-23 14:40:08 浏览:806 回帖 :0

Spark 设计上的优秀无容置疑,甫一出道便抢了 Hadoop 的 C 位,在开源大数据的黄金十年里一时风头无两,在人工智能时代的当下仍然能够与时俱进,不可谓不牛逼。架构和设计上的卓越,不遑多言,美中...

云栖社区 系统软件 数据存储与数据库 系统研发与运维 网络与数据通信 python 深度学习 大数据 java hadoop spark scala 开源大数据 EMR

开源大数据EMR 发表了文章:

Apache Avro as a Built-in Data Source in Apache Spark 2.4

发布时间:2019-04-12 11:24:55 浏览:580 回帖 :0

Apache Avro 是一种流行的数据序列化格式。它广泛用于 Apache Spark 和 Apache Hadoop 生态系统,尤其适用于基于 Kafka 的数据管道。从 Apache Spark...

大数据 分布式系统与计算 函数 性能 Apache 测试 spark string Registry schema source bootstrap Avro 开源计算

开源大数据EMR 发表了文章:

Alluxio技术内幕:如何百倍加速云端元数据操作

发布时间:2019-04-07 23:06:03 浏览:746 回帖 :1

本文转载自:https://zhuanlan.zhihu.com/p/49499385 我们在这篇文章介绍最新版本(1.8.1版本)的Alluxio如何通过使用指纹特性和底层存储批量操作加快Al...

性能 同步 对象存储 存储 数据管理

开源大数据EMR 参与了问答:

SparkSQL读写HiveOnHBase表

E-MapReduce集群中的SparkSQL如何读写HiveOnHBase表

“SparkSQL本身是支持StorageHandler,需要提供相关jar包。 访问HiveOnHBase需要如下jar包:/usr/lib/hbase-current/lib/hbase-serve...查看全部>

开源大数据EMR 评论了文章:

存储与计算分离:OSS构建表 + 计算引擎对接

发布时间:2017-04-28 17:25:17 浏览:13284 回帖 :2

看到标题,可能有用户要问:OSS不是用来存图片、视频、及文件的吗,还可以在上面建表、数仓?计算效率和经济性表现怎么样? 本文先给出基本结论: OSS是什么? 对象存储(Object Sto...

大数据 阿里云 OSS HTTPS SLS aliyun e-mapreduce csv 存储 数据存储 Parquet MaxCompute loghub

“presto用户也可以使用EMR读取存储在OSS上的表数据”

开源大数据EMR 参与了问答:

E-mapreduce中用spark streaming 读取Loghub的问题

大家好。我在测试使用E-mapreduce中的spark streaming来采集Loghub的数据时,遇到点问题。我用Loghub监控一个文本文件,采用的是极简模式。该文本文件,每隔三秒生成一个1到...

“你可以先去logstore看下收到的究竟是些什么内容,然后再对比下spark streaming消费到的数据。”

开源大数据EMR 评论了文章:

双研究员带你了解数据库技术现状,及阿里云为什么要推出HBase

发布时间:2017-02-13 18:29:07 浏览:8048 回帖 :2

纵观整个排行榜,RDBMS牢牢占据了前3席,各个数据库的热度亦一览无余。然而,在这背后,大数据时代下,数据库技术究竟发生了什么样的变化和发展?2月21日,阿里巴巴中间件技术部负责人蒋江伟与阿里巴巴 A...

RDS e-mapreduce

“云数据库 HBase 版(ApsaraDB for HBase)是基于 Hadoop 的一个分布式数据库支持海量的PB级的大数据存储,适用于高吞吐的随机读写的场景。 目前免费公测中,名额有限。有需求的...查看全部>

开源大数据EMR 参与了问答:

关于云数据库 HBase 版的简介

关于云数据库 HBase 版的简介

“云数据库 HBase 版(ApsaraDB for HBase)是基于 Hadoop 的一个分布式数据库,支持海量的PB级的大数据存储,适用于高吞吐的随机读写的场景。 目前免费公测中,名额有限。查看详...查看全部>

开源大数据EMR 评论了文章:

如何在E-MapReduce上使用引导操作安装kafka组件

发布时间:2016-12-21 11:02:23 浏览:3587 回帖 :2

当前emr最新版本2.1.1没有kafka组件,需要额外安装。本文介绍如何用E-MapReduce引导操作来安装kafka_2.10-0.10.0.0版本。

云栖社区 分布式 消息系统 大数据 开发框架与中间件 分布式系统与计算 HTTPS LOG 配置 集群 aliyun e-mapreduce Server 脚本 sed

“好文章!内容不在多,实用最好!!”

开源大数据EMR 评论了文章:

Hadoop社区支持阿里云OSS 云计算与开源融合的新里程碑

发布时间:2016-10-14 16:02:45 浏览:9158 回帖 :1

Hadoop社区作为大数据领域的开源软件,一直以来都受到了各个厂商的高度重视,对OSS的支持将更大程度的促进开源软件和云计算的互通与融合。

大数据 阿里云 OSS hadoop

“1.58元/小时起快速体验 Hadoop & Spark 等,阿里云为你助力大数据计算E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop...查看全部>

开源大数据EMR 评论了文章:

当物流行业遇见MongoDB

发布时间:2016-07-19 18:08:38 浏览:9208 回帖 :6

快递物流系统里最常见的一种业务类型就是订单的查询和记录。利用MongoDB数据库能够帮助企业快速搭建物流快递系统,助力物流企业轻松上云

数据存储与数据库 MongoDB

“宝宝写的不错”

开源大数据EMR 参与了问答:

E-Mapreduce的Spark软件安装目录

请问E-Mapreduce的Spark软件安装目录

“不同版本有不同的路径,目前在 /opt/apps/spark-1.6.0-bin-hadoop2.6/可以在 /opt/apps 下面找到”
5
暂未提供

感兴趣or擅长的领域:

暂无
更多>
xiajunluan
xiajunluan
文章:0丨 粉丝:158丨 话题:0
蓝天0802
蓝天0802
文章:6丨 粉丝:158丨 话题:0
鸿初
鸿初
文章:21丨 粉丝:177丨 话题:0
eric-li
eric-li
文章:5丨 粉丝:163丨 话题:0
云学习小组
云学习小组
文章:192丨 粉丝:46103丨 话题:0
健身不健身
健身不健身
文章:2丨 粉丝:741丨 话题:0
更多>
游客fee5dmjac4yhs
游客fee5dmjac4yhs
文章:0丨 粉丝:0丨 话题:0
游客zzdjaqn4zqvfk
游客zzdjaqn4zqvfk
文章:0丨 粉丝:0丨 话题:0
游客vyc3a2nuypfru
游客vyc3a2nuypfru
文章:0丨 粉丝:0丨 话题:0
游客hmc6bjj52qdm6
游客hmc6bjj52qdm6
文章:0丨 粉丝:0丨 话题:0
游客mllikrz3wazf4
游客mllikrz3wazf4
文章:0丨 粉丝:0丨 话题:0
1231611081077289
1231611081077289
文章:0丨 粉丝:0丨 话题:0
杂志