阿里云E-MapReduce 关注
手机版

开源大数据周刊-第89期

资讯 Databricks开源机器学习平台MLFlow本文主要介绍Databricks开源机器学习平台MLFlow基础。 全民讨伐 Google AI “作恶”项目内部员工的严重抗议,终于让谷歌在 AI 武器化的道路上悬崖勒马了。

大数据 算法 人工智能 开源大数据 物联网 虚拟现实 html 海量数据

EMR Druid 探索(二)

EMR Druid 探索(二) EMR Druid 上文介绍了 Druid 的特点、使用场景以及性能。EMR 在 3.11.0 引入了 ...

OSS hdfs hadoop Json 配置 集群 索引 EMR page type Bash Druid

开源大数据周刊-第88期

资讯 天猫、盒马、饿了么、口碑,阿里想做的新零售到底是什么?阿里巴巴近日宣布,将通过天猫、盒马、口碑、饿了么等多个业态,在全国范围内打造“新零售之城”。作为全国首都,北京成为阿里新零售布局和试点的主要阵地之一。

分布式 大数据 安全 监控 SQL 数据处理 集群 spark 开源大数据 流处理 flink 区块链 新零售

开源大数据周刊-第87期

资讯 SIGIR2018高分录用——阿里妈妈公开全新CVR预估模型近期,阿里妈妈算法团队发表了一篇题为《Entire Space Multi-Task Model: An Effective Approach for Estimating...

深度学习 算法 数据处理 高可用 集群 负载均衡 开源大数据 zookeeper 数据存储 推荐系统

都是default惹的祸-yarn调度(一)-fair调度器drf调度策略作业不执行问题的调查和源码分析

问题背景 yarn的fair类型资源池,是企业级hadoop用户常用的资源池类型。该资源池默认的队列调度策略是fair,即分配资源时只考虑...

hadoop 源码 配置 集群 CPU yarn fair schudeler drf

如何使用Kafka Connect实现同步RDS binlog数据

本文介绍如何在E-MapReduce上使用Kafka Connect实现同步RDS binlog数据

架构 分布式系统与计算 RDS 数据库 开源 配置 集群 Image 同步 e-mapreduce Server binlog 流计算 kafka 流式系统

开源大数据周刊-第84期

资讯 [神策数据宣布获4400万美元融资](http://www.cbdio.com/BigData/2018-04/12/content_5702056.htm)4月11日,神策数据 C 轮融资发布会在北京举行。

大数据 hbase hadoop Apache 集群 数据分析 开源大数据 e-mapreduce Hive 存储 海量数据

为什么要写技术文章-我对写作收获的理解

为了迎接更好的自己。 过去的止步不前 程序员最反感别人没写文档,最不喜欢自己写文档。 我一直很认同技术人员应该持续写技术文章,可以总结经验,打造个人品牌,等等。但加上公司内部分享,实际也没写多少篇,这可能也是很多技术人员的通病吧。

架构 源码 写作 个人感悟

开源大数据周刊-第85期

资讯 美国公布长达35页的《2016-2045年新兴科技趋势报告》, Hadoop社区最新动态

大数据 hbase hadoop Apache 集群 数据分析 spark 开源大数据 e-mapreduce Hive 存储 海量数据

hive在E-MapReduce集群的实践(一)hive异常排查入门

hive是hadoop集群最常用的数据分析工具,只要运行sql就可以分析海量数据。初学者在使用hive时,经常会遇到各种问题,不知道该怎么解决。 本文是hive实践系列的第一篇,以E-MapReduce集群环境为例,介绍...

大数据 hadoop SQL 日志 配置 reduce 集群 OOM e-mapreduce Hive Mapreduce

开源大数据周刊-第83期

资讯 最高法院就Microsoft云计算案的法律问题开展口辩论本案对Microsoft的裁决,可能将会要求位于美国的企业提交其存储在国外服务器上的美国执法数据。在这种情况下,位于美国的企业可能将无法为国外提供许多云计算服务。

大数据 机器学习 hadoop Apache 消息中间件 spark 开源大数据 磁盘 Mapreduce

开源大数据周刊-第82期

总理政府工作报告:加强大数据发展和新一代人工智能研发应用。即将发布的 JDK 10 有 109 项新特性,你喜欢哪些?微软宣布在机器翻译方面取得突破,中翻英可达人类水平。推特爆款:谷歌大脑工程师的深度强化学习劝退文。

深度学习 大数据 算法 数据库 人工智能 测试 开源大数据 google service 存储

通过Gateway访问Presto

本文介绍使用HAProxy反向代理实现通过Gateway节点访问Presto服务的方法。该方法也很容扩展到其他组件,如Impala等。

shell 配置 安全组 集群 控制台 Server EMR alibaba Gateway presto

Step by step,学习EMR集群的fair类型资源池

集群越大,跑的业务越多,越需要资源池管理。资源调度是yarn的核心。 EMR现在支持在业务视角操作yarn资源池了,资源池文档介绍了如何...

大数据 hadoop 配置 集群 BY EMR yarn 大数据分析 资源管理 fair

hive在E-MapReduce集群的实践(二)集群hive参数优化

本文介绍一些常见的集群跑hive作业参数优化,可以根据业务需要来使用。 提高hdfs性能 修改hdfs-site,注意重启hdfs服务 dfs.client.read.shortcircuit=true //直读 d...

大数据 性能优化 性能 集群 数据分析 e-mapreduce Hive optimize

YARN ResourceManager重启作业保留机制

YARN可以通过相关配置支持ResourceManager重启过程中,不影响正在运行的作业,即重启后,作业还能正常继续运行直到结束

hadoop Apache 高可用 配置 集群 测试 e-mapreduce Server Hive class yarn resourcemanager 恢复 recovery

E-MapReduce Kafka Benchmark - I

本文介绍如何利用Kafka自带的性能测试脚本测试Kafka集群的性能,文末给出一份单机测试Kafka集群的性能数据。此数据仅供参考,不代表官...

消息系统 大数据 分布式系统与计算 gzip 性能 线程 配置 集群 测试 云盘 e-mapreduce replication zookeeper kafka

如何在E-MapReduce上提交Storm作业处理Kafka数据

本文演示如何在E-MapReduce上部署Storm集群和Kafka集群,并运行Storm作业消费Kafka数据。

大数据 分布式系统与计算 storm hadoop Apache 配置 安全组 集群 测试 Maven Image aliyun e-mapreduce kafka 开源计算

开源大数据周刊-第81期

资讯 2018年的5个人工智能趋势 在2018年人工智能会有什么进展?下面是我们观察到的:期待机器学习在方法、理解和教育方面会取得实质...

python 深度学习 hdfs 性能 数据处理 人工智能 集群 开源大数据 CPU 流数据

E-MapReduce是构建于阿里云ECS弹性虚拟机之上,利用开源大数据生态系统,包括Hadoop和Spark,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。

管理员:
鱼跟猫
960
关注
14
成员
198
文章