云无谓 + 关注

云无谓 发表了文章:

使用spark-redis组件访问云数据库Redis

发布时间:2019-08-15 18:08:11 浏览:505 回帖 :0

本文演示了在Spark Shell中通过spark-redis组件读写Redis数据的场景。所有场景在阿里云E-MapReduce集群内完成,Redis使用阿里云数据库Redis

redis Apache 数据库 shell 集群 spark scala DataFrame 云数据库 string EMR

云无谓 发表了文章:

YARN NodeLabel功能以及在EMR弹性伸缩中的应用

发布时间:2019-04-02 16:07:11 浏览:864 回帖 :0

YARN Node Label功能最早是在Hadoop 2.6版本中引入,在后续版本中有更多的功能完善。到了Hadoop 2.8.x版本之后,该功能已经比较完整,可以满足日常使用。在本文中,我们需要将...

分布式系统与计算 hadoop 阿里技术协会 配置 cluster 集群 弹性伸缩 node spark Core EMR Mapreduce

云无谓 发表了文章:

[译]利用贝叶斯推理做硬件故障率的准实时预测

发布时间:2019-03-07 00:48:59 浏览:4431 回帖 :0

你可能已经不知不觉中在数据科学项中用上了贝叶斯相关技术!如果你还没用上,这个技术可以增强你的数据分析能力。本文会展示这项技术在现实世界中的应用案例:通过传感器收集的流式数据预测硬件故障率。

云无谓 发表了文章:

阿里云AnalyticDB数据导出到E-MapReduce实践

发布时间:2018-01-23 14:22:13 浏览:3674 回帖 :0

阿里云的分析型数据库(AnalyticDB)和E-MapReduce(简称EMR)在大数据场景下非常有用,本文将介绍如何尝试打通两个产品,将通过EMR中自带的开源工具Sqoop来完成这个任务。

大数据 hadoop 数据库 控制台 aliyun e-mapreduce ads 分析型数据库 EMR Hive html sqoop AnalyticDB

云无谓 发表了文章:

E-MapReduce HDFS文件快速CRC校验工具介绍

发布时间:2017-08-01 19:36:06 浏览:2954 回帖 :1

在大数据应用场景下经常有数据文件的迁移工作,如果保障迁移之后数据的完整性是一个很常见的问题。本文就给大家介绍一下在大数据场景下,如何用工具快速对比文件。

大数据 阿里云 OSS hdfs hadoop 云存储 HASH e-mapreduce 分布式文件系统 file list input

云无谓 发表了文章:

在E-MapReduce集群内运行Spark GraphX作业

发布时间:2017-07-24 15:33:17 浏览:1973 回帖 :0

Spark GraphX是一个比较流行的图计算框架,如果你使用了阿里云的E-MapReduce服务,可以很方便的运行图计算的作业。 下面以PageRank为例,看看如何运行GraphX作业

阿里云 hadoop 集群 spark scala e-mapreduce

云无谓 发表了文章:

一个助Hadoop集群数据快速上云工具

发布时间:2017-05-05 08:06:30 浏览:4144 回帖 :0

当前业界有很多公司是以Hadoop技术构建数据中心,所以本文将探讨如何快速的将Hadoop文件系统(HDFS)上的数据迁移到云上。

OSS hdfs hadoop 集群 数据迁移 e-mapreduce

云无谓 发表了文章:

开源深度学习库BigDL在阿里云E-MapReduce上的实践

发布时间:2017-04-05 18:05:59 浏览:6063 回帖 :0

近些年来机器学习中的子领域深度学习成为一个热门的话题。本文要介绍Intel开源的深度学习框架BigDL,它也是在Spark上的一个算法库,提供了全面的深度学习算法支持,包括数值计算(Tensor)和高...

深度学习 算法 阿里云 hadoop HTTPS http 集群 测试 spark MLlib e-mapreduce EMR github

云无谓 参与了问答:

什么时候e-mapreduce提供impala

您好,请问什么时候e-mapreduce提供impala?测试时impala性能明显好于hive,而且公司现有人员也是对impala熟悉

“现在还未支持,如果希望在E-MapReduce上运行impala,可以通过引导操作安装,请参考云栖社区的文章:https://yq.aliyun.com/articles/58387”

云无谓 发表了文章:

使用E-MapReduce服务处理阿里云文件存储(NAS)的数据

发布时间:2016-12-12 11:09:59 浏览:3107 回帖 :0

给大家介绍一个使用场景,可以将E-MapReduce的Hadoop作业和文件存储(NAS)结合在一起,发挥分布式存储和分布式计算在一起的威力

大数据 阿里云 hadoop HTTPS 高可用 配置 控制台 aliyun 开源大数据 e-mapreduce 分布式计算 分布式文件系统 分布式存储 存储 NAS

云无谓 发表了文章:

使用E-MapReduce服务将Kafka数据导入OSS

发布时间:2016-12-05 19:14:11 浏览:5609 回帖 :1

kafka是一个开源社区常用的消息队列,虽然kafka官方(Confluent公司)提供插件从Kafka直接导入数据到HDFS的connector,但对阿里云对文件存储系统OSS却没有官方的支持。本文...

阿里云 OSS hdfs Apache 配置 集群 e-mapreduce test source type kafka

云无谓 评论了文章:

尝新阿里云E-MapReduce MetaService服务

发布时间:2016-09-22 13:32:42 浏览:3380 回帖 :2

阿里云E-MapReduce从EMR-2.1.0版本镜像开始,将在VPC集群中提供MetaService服务。

分布式 原创 hadoop spark e-mapreduce 对象存储OSS

“太好了”

云无谓 参与了话题:

hadoop上云的冰与火

发布时间:2016-10-09 12:20:45 参与人数:60

Hadoop经过10年的发展,目前已经成为大数据技术的标准;云计算也发展了将近10年,已经被越来越多的企业接受; 在企业自己采购自己的年代,很多企业都会经历过业务部署物理机,再虚拟化,再跟大数据混合部...

话题奖品:
淘公仔3个
优酷VIP季卡2个
纪念版T恤2个
已结束
“不论是互联网公司还是传统企业,企业整体上云是一大趋势,伴随业务上云的还有数据处理的需求。Hadoop及其为代表的开源社区在大数据领域一直是领头羊的角色,成为事实的标准。有大量数据相关的产品都能无缝对接...查看全部>

云无谓 评论了文章:

《银行的一天》演示日志处理保序、不丢、不重

发布时间:2016-08-24 20:07:24 浏览:9569 回帖 :2

日志处理是一个很大范畴,其中包括实时计算、数据仓库、离线计算等众多的点。这篇文章主要目的为了讨论如何在实时计算场景中,如何能做到日志处理保序、不丢失、不重复,并且在上下游业务系统不可靠(存在故障),业...

流计算 loghub 日志处理

“很赞的例子,受教了。 关于spark streaming的使用,可以参考E-MapReduce产品:https://www.aliyun.com/product/emapreduce”

云无谓 评论了文章:

开源大数据周刊-第1期

发布时间:2016-04-18 20:33:51 浏览:3767 回帖 :3

即日起,E-Mapreduce提供包年包月服务(比按需便宜约60%),用户可通过引导操作自定义安装软件、自定义配置,同时还能创建使用Hbase集群,通过open-API进行创建集群、提交作业等各种操作...

hadoop 开源 spark

“点赞”
暂未提供

感兴趣or擅长的领域:

暂无
更多>
阮一峰
阮一峰
文章:216丨 粉丝:1957丨 话题:0
周志湖
周志湖
文章:103丨 粉丝:457丨 话题:0
鸿初
鸿初
文章:21丨 粉丝:177丨 话题:0
简志
简志
文章:53丨 粉丝:3425丨 话题:1
阿里云E-MapReduce团队
阿里云E-MapReduce团队
文章:51丨 粉丝:938丨 话题:0
梅熙
梅熙
文章:9丨 粉丝:931丨 话题:0
更多>
游客wrhbyd4s5fvx4
游客wrhbyd4s5fvx4
文章:0丨 粉丝:0丨 话题:0
游客k22nl2u7wweoe
游客k22nl2u7wweoe
文章:0丨 粉丝:0丨 话题:0
游客o7ohufnkm6326
游客o7ohufnkm6326
文章:0丨 粉丝:0丨 话题:0
游客id7hvpoxjbvhy
游客id7hvpoxjbvhy
文章:0丨 粉丝:0丨 话题:0
游客eem2n7z3khqbo
游客eem2n7z3khqbo
文章:0丨 粉丝:0丨 话题:0
游客ecfpg466rksvu
游客ecfpg466rksvu
文章:0丨 粉丝:0丨 话题:0