阿里云E-MapReduce团队 + 关注

阿里云E-MapReduce团队 发表了文章:

Koalas:让 pandas 轻松切换 Apache Spark

发布时间:2019-05-06 11:54:03 浏览:883 回帖 :0

4 月 24 日,Databricks 在 Spark + AI 峰会上开源了一个新产品 Koalas,它增强了 PySpark 的 DataFrame API,使其与 pandas 兼容。本文转自...

云栖社区 安全与风控 编程语言 移动开发与客户端 网络与数据通信 ios 互联网产品及应用 php RPC LBS 大数据 安全 Apache spark 安全问道

阿里云E-MapReduce团队 发表了文章:

钉钉群直播Spark + AI 北美峰会参会分享

发布时间:2019-04-26 12:38:28 浏览:537 回帖 :0

Spark + AI 北美峰会 2019 盛况依然,这两天正如火如荼。大会的主题是 Build,Unify,Scale,对此如何理解?砖厂这次有哪些重磅消息和重要发布,并作如何解读?Spark 过去几...

系统软件 编程语言 深度学习 大数据 安全 钉钉 spark EMR

阿里云E-MapReduce团队 发表了文章:

从数砖开源 Delta Lake 说起

发布时间:2019-04-25 16:49:57 浏览:4138 回帖 :1

Spark AI 北美峰会的第一天,坊间传闻被证实,Databrics(俗称数砖,亦称砖厂)的杀手锏 Delta 产品特性作为 Delta Lake 项目开源!会前,笔者有幸同砖厂的两位大佬李潇和连城...

云栖社区 系统软件 数据存储与数据库 python php 大数据 空间索引原理 混合式开发 Apache 阿里技术协会 EMR ACID Delta Lake Databrics

阿里云E-MapReduce团队 发表了文章:

浅谈 Spark 的多语言支持

发布时间:2019-04-23 14:13:11 浏览:3857 回帖 :0

Spark架构和设计上的优秀毋庸置疑,从一出道便抢了 Hadoop 的 C 位。在开源大数据的黄金十年一时风头无两,在当下人工智能时代仍然能够与时俱进,通天之处不遑多言,美中不足之处也有不少。小的...

python 深度学习 大数据 java hadoop 阿里技术协会 spark scala 开源大数据 Driver EMR 多语言

阿里云E-MapReduce团队 发表了文章:

Structured Streaming VS Flink

发布时间:2019-01-20 15:15:51 浏览:2813 回帖 :0

Flink是标准的实时处理引擎,而且Spark的两个模块Spark Streaming和Structured Streaming都是基于微批处理的,不过现在Spark Streaming已经非常稳定基...

分布式 监控 SQL spark DataFrame 数据结构

阿里云E-MapReduce团队 发表了文章:

Adaptive Execution如何让Spark SQL更高效更好用?

发布时间:2019-01-20 14:59:21 浏览:1107 回帖 :0

本文转发自技术世界,原文链接 http://www.jasongj.com/spark/adaptive_execution/ 1 背  景 Spark SQL / Catalyst 和 CBO ...

spark adaptive 磁盘

阿里云E-MapReduce团队 发表了文章:

开源大数据周刊-2018年07月13日 第93期

发布时间:2018-07-13 17:40:18 浏览:1423 回帖 :0

开源大数据周刊-2018年07月13日 第93期

深度学习 分布式 大数据 分布式系统与计算 镜像 数据仓库 容器 开源大数据 存储 日志分析 推荐系统

阿里云E-MapReduce团队 评论了文章:

使用hadoop restful api实现对集群信息的统计

发布时间:2017-06-06 18:40:00 浏览:3467 回帖 :1

本文根据hadoop/spark的RESTful API,实现了对集群基本信息的统计功能,包括HDFS文件系统、job情况、资源队列情况的统计。这些API只提供了基础的数据,具体的统计与分析,还需要基...

hadoop Apache http 集群 API EMR type Mapreduce

“"5.2 Mapreduce job扫描数据量"应该是“5.2 Spark job扫描数据量”吧?”

阿里云E-MapReduce团队 评论了文章:

如何在E-MapReduce上使用引导操作安装kafka组件

发布时间:2016-12-21 11:02:23 浏览:3668 回帖 :2

当前emr最新版本2.1.1没有kafka组件,需要额外安装。本文介绍如何用E-MapReduce引导操作来安装kafka_2.10-0.10.0.0版本。

云栖社区 分布式 消息系统 大数据 开发框架与中间件 分布式系统与计算 HTTPS LOG 配置 集群 aliyun e-mapreduce Server 脚本 sed

“可以考虑单独搞个kafka服务了。”

阿里云E-MapReduce团队 参与了问答:

E-MapReduce与ODPS的区别

E-MapReduce与ODPS有啥区别呢?

“E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 大数据...查看全部>

阿里云E-MapReduce团队 参与了问答:

使用emapreduce集群,怎么访问公网呢?包括计费等能详细解析下吗?

使用emapreduce集群,怎么访问公网呢?包括计费等能详细解析下吗?

“1.E-MapReduce目前默认会给集群的master节点开通公网IP,classic网络下按照流量收费,vpc网络下使用的是EIP,eip会收取使用费和流量费用,使用费按照小时计费(每个regio...查看全部>

阿里云E-MapReduce团队 参与了问答:

我刚才提了个问题,postgresql的,说有敏感词汇,能否审核通过。

我刚才提了个问题,postgresql的,说有敏感词汇,能否审核通过。我写了很长时间,还用了Markdown语法,结果提交告诉我有敏感词汇,需要审核。然后到处找不到那个提问了,哭了。。。。。。。求管理...

“应该很快就能通过”

阿里云E-MapReduce团队 发表了文章:

E-MapReduce 2.0.0 版本发布

发布时间:2016-06-28 11:21:56 浏览:2889 回帖 :0

本次发布包括: 修改了界面的版本选择,新增了2.0.0版本,隐去了1.x版本(用SDK仍然可以继续创建,但我们强烈建议升级到最新版本),合并了Hadoop和HBase的版本选择。 Hadoop版本...

阿里云E-MapReduce团队 评论了文章:

海量吞吐的实时NoSQL—HBase的七剑和20151111圣战(数据脱敏版)

发布时间:2016-05-17 17:12:26 浏览:6638 回帖 :2

2015年11月11日,作为媒体大屏(dataV)、消费记录、支付宝风控、物流详情、库存对账核心数据库的集团HBase,当天稳定运行,顺利完成了任务。并交出了非常漂亮的几项数据:<strong>QPS...

hbase 阿里技术协会 双十一总结

“欢迎使用阿里云E-MapReduce产品,HBase的云服务 https://www.aliyun.com/product/emapreduce?spm=5176.7960203.237031.19”

阿里云E-MapReduce团队 评论了文章:

Hadoop学习资源集合

发布时间:2016-05-18 22:45:48 浏览:30150 回帖 :5

Hadoop是一个由Apache基金会所开发的开源分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力进行高速运算和存储。为了云栖社区组织翻译了GitHub ...

hadoop yarn 数据管理 分布式机器学习

“欢迎使用E-MapReduce产品的Hadoop平台 https://www.aliyun.com/product/emapreduce?spm=5176.7960203.237031.19”

阿里云E-MapReduce团队 评论了文章:

如何在Aliyun E-MapReduce集群上使用Zeppelin和Hue

发布时间:2016-05-11 22:34:45 浏览:10815 回帖 :3

目前Aliyun E-MapReduce支持了zeppelin和hue,在Aliyun E-MapReduce集群上可以很方便的使用zeppelin和hue。本文将详细介绍如何在Aliyun E-Ma...

hadoop e-mapreduce Hive hue zeppelin

“顶”

阿里云E-MapReduce团队 评论了文章:

E-Mapreduce如何处理RDS的数据

发布时间:2016-04-08 19:30:57 浏览:4229 回帖 :1

目前网站的一些业务数据存在了数据库中,这些数据往往需要做进一步的分析,如:需要跟一些日志数据关联分析,或者需要进行一些如机器学习的分析。在阿里云上,目前E-Mapreduce可以满足这类进一步分析的需...

分布式系统与计算 mysql hadoop Mapreduce 云数据库RDS

“顶”

阿里云E-MapReduce团队 评论了文章:

如何在E-MapReduce中玩转OSS

发布时间:2016-03-24 16:45:17 浏览:6530 回帖 :1

在E-MapReduce中,用户可以将OSS作为Hadoop/Spark的可选数据源之一。但是在实际使用时,我们发现Hadoop读写OSS的性能不令人满意。为了解决这个问题,E-MapReduce团队...

大数据 分布式系统与计算 云存储技术 对象存储OSS

“好牛B啊”

阿里云E-MapReduce团队 参与了问答:

使用E-MapReduce,spark中读取oss文件

运行spark报如下错误: 注:已配accessKeyId,accessKeySecret,endpoint

“看了你的日志,感觉是你的endpoint写错了把,你再确认一下。”
4
暂未提供

感兴趣or擅长的领域:

暂无
更多>
云无谓
云无谓
文章:10丨 粉丝:935丨 话题:0
祥栖
祥栖
文章:4丨 粉丝:3337丨 话题:0
知瑕
知瑕
文章:2丨 粉丝:933丨 话题:0
江宇-燕回
江宇-燕回
文章:1丨 粉丝:797丨 话题:0
诚历
诚历
文章:2丨 粉丝:797丨 话题:0
社区小助手
社区小助手
文章:12丨 粉丝:992丨 话题:0
更多>
游客ifnwkhgun5x2s
游客ifnwkhgun5x2s
文章:0丨 粉丝:0丨 话题:0
游客m55b5g2x4iqog
游客m55b5g2x4iqog
文章:0丨 粉丝:0丨 话题:0
游客hu5dka53atdmk
游客hu5dka53atdmk
文章:0丨 粉丝:0丨 话题:0
biglau
biglau
文章:0丨 粉丝:0丨 话题:0
游客ko5cq4gcvivzg
游客ko5cq4gcvivzg
文章:0丨 粉丝:0丨 话题:0
1107446898776800
1107446898776800
文章:0丨 粉丝:0丨 话题:0