鸿初 + 关注
阿里巴巴计算平台事业部高级开发工程师

鸿初 发表了文章:

都是default惹的祸-yarn调度(一)-fair调度器drf调度策略作业不执行问题的调查和源码分析

发布时间:2018-05-11 14:22:52 浏览:2172 回帖 :0

问题背景 yarn的fair类型资源池,是企业级hadoop用户常用的资源池类型。该资源池默认的队列调度策略是fair,即分配资源时只考虑内存限制。 对一个多个团队混合使用的大集群来说,如果想要在...

hadoop 源码 配置 集群 CPU yarn fair schudeler drf

鸿初 发表了文章:

为什么要写技术文章-我对写作收获的理解

发布时间:2018-04-15 21:39:02 浏览:1878 回帖 :3

为了迎接更好的自己。 过去的止步不前 程序员最反感别人没写文档,最不喜欢自己写文档。 我一直很认同技术人员应该持续写技术文章,可以总结经验,打造个人品牌,等等。但加上公司内部分享,实际也没写...

架构 源码 写作 个人感悟

鸿初 发表了文章:

hive在E-MapReduce集群的实践(一)hive异常排查入门

发布时间:2018-04-11 22:20:52 浏览:4937 回帖 :0

hive是hadoop集群最常用的数据分析工具,只要运行sql就可以分析海量数据。初学者在使用hive时,经常会遇到各种问题,不知道该怎么解决。 本文是hive实践系列的第一篇,以...

大数据 hadoop SQL 日志 配置 reduce 集群 OOM e-mapreduce Hive Mapreduce

鸿初 发表了文章:

鸿初 发表了文章:

hive在E-MapReduce集群的实践(二)集群hive参数优化

发布时间:2018-03-06 22:34:25 浏览:6299 回帖 :0

本文介绍一些常见的集群跑hive作业参数优化,可以根据业务需要来使用。 提高hdfs性能 修改hdfs-site,注意重启hdfs服务 dfs.client.read.short...

大数据 性能优化 性能 集群 数据分析 e-mapreduce Hive optimize

鸿初 发表了文章:

自建hadoop集群迁移到EMR之数据迁移篇

发布时间:2018-01-18 15:47:49 浏览:2758 回帖 :0

自建集群要迁移到EMR集群,往往需要迁移已有数据。本文主要介绍hdfs数据和hive meta数据如何迁移。 前置 已按需求创建好EMR集群。 迁移hdfs数据 主要依靠distcp,核心是打...

mysql RDS hdfs hadoop SQL 数据库 配置 安全组 集群 数据迁移 同步 脚本 EMR Hive 数据同步

鸿初 参与了问答:

E-MapReduce创建集群时没有勾选presto 现在想启动presto

怎么启动presto啊

“presto安装目录是/usr/lib/presto-current日志目录是/mnt/disk1/log/presto 先初始化,再启动 初始化:每个节点的/usr/local/emr/emr-bi...查看全部>

鸿初 发表了文章:

鸿初 发表了文章:

E-MapReduce集群脚本-包年包月集群修改软件环境的利器

发布时间:2016-09-26 15:06:55 浏览:1440 回帖 :1

集群,特别是包年报月集群,在使用过程中,可能会有新的安装第三方软件,修改集群运行环境的需求。 E-MapReduce控制台1.5.0版本提供了集群脚本的功能,可以在集群创建好后批量选择节点,运行您指...

系统研发与运维 e-mapreduce

鸿初 发表了文章:

E-MapReduce的Presto组件默认支持访问oss数据

发布时间:2016-09-26 14:37:50 浏览:1929 回帖 :0

阿里云E-MapReduce从EMR-2.1.0版本镜像开始,Presto组件默认就支持访问oss数据了,不再需要引导操作额外支持。

大数据 e-mapreduce 对象存储OSS

鸿初 发表了文章:

用引导操作打通presto访问oss数据

发布时间:2016-08-15 20:31:54 浏览:3837 回帖 :0

对象存储OSS

鸿初 发表了文章:

20160808北京云栖大会workshop-EMapReduce分析网站数据

发布时间:2016-08-07 19:35:20 浏览:2368 回帖 :0

目标 了解E-MapReduce创建集群流程; 熟悉端口转发访问集群可视化组件zeppelin; 完成用zeppelin分析热播数据的示例。 创建集群 集群包括一组ecs实例和运行在实例上的...

鸿初 发表了文章:

用引导操作给E-MapReduce集群安装impala

发布时间:2016-07-27 14:07:34 浏览:4251 回帖 :2

当前emr最新版本2.0.1没有impala组件,需要额外安装。本文介绍如何在emr 2.0.1版本上用E-MapReduce软件配置功能修改hdfs配置,引导操作安装impala 2.5.0 for...

分布式系统与计算 impala

鸿初 发表了文章:

Presto实现原理(转)

发布时间:2016-06-28 15:58:22 浏览:5195 回帖 :0

Presto架构 Presto查询引擎是一个Master-Slave的架构,由一个Coordinator节点,一个Discovery Server节点,多个Worker节点组成,Discover...

大数据

鸿初 发表了文章:

Presto,来自Facebook的开源分布式查询引擎

发布时间:2016-06-28 15:41:22 浏览:3099 回帖 :0

E-MapReduce产品的最新版本2.0.0现在支持Presto了,使用指南。本文主要介绍一下什么是Preosto。 Presto是一个分布式SQL查询引擎, 它被设计用来进行高速、实时的数据分析...

大数据

鸿初 参与了问答:

E-MR spark 本地测试读写odps 会默认限制数据条数吗

.E-MR spark 本地测试读写odps 会默认限制数据条数吗

“没有”

鸿初 参与了问答:

EMR创建完后网页上支持升级到新的EMR版本么

EMR创建完后网页上支持升级到新的EMR版本么

“目前emr版本不支持升级”

鸿初 参与了问答:

创建完EMR集群之后可以对单独的组件进行配置更改或者版本升级么?可以添加自定义的组件之类的么?

创建完EMR集群之后可以对单独的组件进行配置更改或者版本升级么?可以添加自定义的组件之类的么?

“创建时可以用软件配置和引导操作更改配置,添加自定义组件,创建完成后目前只能登陆ecs手工修改安装”

鸿初 参与了问答:

如何登陆E-MapReduce的core节点

如何登陆E-MapReduce的core节点

“可以先ssh master,再用hadoop账户ssh上去,已经打通master到core节点hadoop账户免密码ssh了”
2
阿里云-EMR团队成员,致力于推广开源大数据在云上的应用

感兴趣or擅长的领域:

更多>
岑玉海
岑玉海
文章:65丨 粉丝:86丨 话题:0
郭泽晖
郭泽晖
文章:5丨 粉丝:6733丨 话题:0
玄陵
玄陵
文章:13丨 粉丝:6737丨 话题:0
瑾谦
瑾谦
文章:21丨 粉丝:6818丨 话题:0
封神
封神
文章:34丨 粉丝:10603丨 话题:2
更多>
michael3lyb
michael3lyb
文章:0丨 粉丝:0丨 话题:0
游客z4xf6vnivn7ao
游客z4xf6vnivn7ao
文章:0丨 粉丝:0丨 话题:0
游客yrk5p355l46jg
游客yrk5p355l46jg
文章:0丨 粉丝:0丨 话题:0
bianfc
bianfc
文章:0丨 粉丝:0丨 话题:0
开源大数据EMR
开源大数据EMR
文章:169丨 粉丝:2341丨 话题:0
小稀罕
小稀罕
文章:0丨 粉丝:0丨 话题:0