阿里云E-MapReduce 关注
手机版

为什么要写技术文章-我对写作收获的理解

为了迎接更好的自己。 过去的止步不前 程序员最反感别人没写文档,最不喜欢自己写文档。 我一直很认同技术人员应该持续写技术文章,可以总结经验,打造个人品牌,等等。但加上公司内部分享,实际也没写多少篇,这可能也是很多技术人员的通病吧。

架构 源码 写作 个人感悟

开源大数据周刊-第84期

资讯 [神策数据宣布获4400万美元融资](http://www.cbdio.com/BigData/2018-04/12/content_5702056.htm)4月11日,神策数据 C 轮融资发布会在北京举行。

大数据 hbase hadoop Apache 集群 数据分析 spark 开源大数据 e-mapreduce Hive 存储 海量数据

hive在E-MapReduce集群的实践(一)hive异常排查入门

hive是hadoop集群最常用的数据分析工具,只要运行sql就可以分析海量数据。初学者在使用hive时,经常会遇到各种问题,不知道该怎么解决。 本文是hive实践系列的第一篇,以E-MapReduce集群环境为例,介绍...

大数据 hadoop SQL 日志 配置 reduce 集群 OOM e-mapreduce Hive Mapreduce

开源大数据周刊-第83期

资讯 最高法院就Microsoft云计算案的法律问题开展口辩论本案对Microsoft的裁决,可能将会要求位于美国的企业提交其存储在国外服务器上的美国执法数据。在这种情况下,位于美国的企业可能将无法为国外提供许多云计算服务。

大数据 机器学习 hadoop Apache 消息中间件 spark 开源大数据 磁盘 Mapreduce

开源大数据周刊-第82期

总理政府工作报告:加强大数据发展和新一代人工智能研发应用。即将发布的 JDK 10 有 109 项新特性,你喜欢哪些?微软宣布在机器翻译方面取得突破,中翻英可达人类水平。推特爆款:谷歌大脑工程师的深度强化学习劝退文。

深度学习 大数据 算法 数据库 人工智能 测试 开源大数据 google service 存储

通过Gateway访问Presto

本文介绍使用HAProxy反向代理实现通过Gateway节点访问Presto服务的方法。该方法也很容扩展到其他组件,如Impala等。

shell 配置 安全组 集群 控制台 Server EMR alibaba Gateway presto

Step by step,学习EMR集群的fair类型资源池

集群越大,跑的业务越多,越需要资源池管理。资源调度是yarn的核心。 EMR现在支持在业务视角操作yarn资源池了,资源池文档介绍了如何...

大数据 hadoop 配置 集群 BY EMR yarn 大数据分析 资源管理 fair

hive在E-MapReduce集群的实践(二)集群hive参数优化

本文介绍一些常见的集群跑hive作业参数优化,可以根据业务需要来使用。 提高hdfs性能 修改hdfs-site,注意重启hdfs服务 dfs.client.read.shortcircuit=true //直读 d...

大数据 性能优化 性能 集群 数据分析 e-mapreduce Hive optimize

YARN ResourceManager重启作业保留机制

YARN可以通过相关配置支持ResourceManager重启过程中,不影响正在运行的作业,即重启后,作业还能正常继续运行直到结束

hadoop Apache 高可用 配置 集群 测试 e-mapreduce Server Hive class yarn resourcemanager 恢复 recovery

E-MapReduce Kafka Benchmark - I

本文介绍如何利用Kafka自带的性能测试脚本测试Kafka集群的性能,文末给出一份单机测试Kafka集群的性能数据。此数据仅供参考,不代表官...

消息系统 大数据 分布式系统与计算 gzip 性能 线程 配置 集群 测试 云盘 e-mapreduce replication zookeeper kafka

如何在E-MapReduce上提交Storm作业处理Kafka数据

本文演示如何在E-MapReduce上部署Storm集群和Kafka集群,并运行Storm作业消费Kafka数据。

大数据 分布式系统与计算 storm hadoop Apache 配置 安全组 集群 测试 Maven Image aliyun e-mapreduce kafka 开源计算

开源大数据周刊-第81期

资讯 2018年的5个人工智能趋势 在2018年人工智能会有什么进展?下面是我们观察到的:期待机器学习在方法、理解和教育方面会取得实质...

python 深度学习 hdfs 性能 数据处理 人工智能 集群 开源大数据 CPU 流数据

YARN中的CPU资源隔离-CGroups

YARN中集成了CGroups的功能,使得NodeManger可以对container的CPU的资源使用进行控制,比如可以对单个contai...

hadoop Apache 配置 集群 测试 e-mapreduce CPU yarn cgroups

开源大数据周刊-第80期

奇虎360正式开源其高性能KV存储平台Zeppelin,Zeppelin 是奇虎 360 开源的一个高性能,高可用的分布式 Key-Valu...

深度学习 分布式 大数据 机器学习 hadoop 函数 高可用 人工智能 数据流 集群 spark 开源大数据 Hive kafka 区块链

阿里云AnalyticDB数据导出到E-MapReduce实践

阿里云的分析型数据库(AnalyticDB)和E-MapReduce(简称EMR)在大数据场景下非常有用,本文将介绍如何尝试打通两个产品,将通过EMR中自带的开源工具Sqoop来完成这个任务。

大数据 hadoop 数据库 控制台 aliyun e-mapreduce ads 分析型数据库 EMR Hive html sqoop AnalyticDB

开源大数据周刊-第79期

资讯 警惕大数据成了互联网的“PX项目” 新年伊始 BAT 三家关于数据安全的新闻就成功的吸引了公众的目光,也引发了公众对于大公司收...

深度学习 分布式 大数据 安全 算法 服务器 hadoop 加密 人工智能 数据流 数据安全 容器 spark 开源大数据

自建hadoop集群迁移到EMR之数据迁移篇

自建集群要迁移到EMR集群,往往需要迁移已有数据。本文主要介绍hdfs数据和hive meta数据如何迁移。 前置 已按需求创建好EMR集群。 迁移hdfs数据 主要依靠distcp,核心是打通网络,确定hdfs参数和要迁移内容,测...

mysql RDS hdfs hadoop SQL 数据库 配置 安全组 集群 数据迁移 同步 脚本 EMR Hive 数据同步

开源大数据周刊-第78期

新功能预告:EMR Hadoop集群将增加Flink组件,版本1.4.0;EMR Kafka集群将增加Schema Registry和Res...

分布式 大数据 算法 hadoop 性能 日志 Apache 人工智能 集群 数据安全 开源大数据 分布式计算 流计算 流数据

E-MapReduce是构建于阿里云ECS弹性虚拟机之上,利用开源大数据生态系统,包括Hadoop和Spark,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。

管理员:
鱼跟猫
939
关注
13
成员
191
文章