阿里云E-MapReduce 关注
手机版

如何在E-MapReduce上提交Storm作业处理Kafka数据

本文演示如何在E-MapReduce上部署Storm集群和Kafka集群,并运行Storm作业消费Kafka数据。

大数据 分布式系统与计算 storm hadoop Apache 配置 安全组 集群 测试 Maven Image aliyun e-mapreduce kafka 开源计算

开源大数据周刊-第81期

资讯 2018年的5个人工智能趋势 在2018年人工智能会有什么进展?下面是我们观察到的:期待机器学习在方法、理解和教育方面会取得实质...

python 深度学习 hdfs 性能 数据处理 人工智能 集群 开源大数据 CPU 流数据

YARN中的CPU资源隔离-CGroups

YARN中集成了CGroups的功能,使得NodeManger可以对container的CPU的资源使用进行控制,比如可以对单个contai...

hadoop Apache 配置 集群 测试 e-mapreduce CPU yarn cgroups

开源大数据周刊-第80期

奇虎360正式开源其高性能KV存储平台Zeppelin,Zeppelin 是奇虎 360 开源的一个高性能,高可用的分布式 Key-Valu...

深度学习 分布式 大数据 机器学习 hadoop 函数 高可用 人工智能 数据流 集群 spark 开源大数据 Hive kafka 区块链

阿里云AnalyticDB数据导出到E-MapReduce实践

阿里云的分析型数据库(AnalyticDB)和E-MapReduce(简称EMR)在大数据场景下非常有用,本文将介绍如何尝试打通两个产品,将通过EMR中自带的开源工具Sqoop来完成这个任务。

大数据 hadoop 数据库 控制台 aliyun e-mapreduce ads 分析型数据库 EMR Hive html sqoop AnalyticDB

开源大数据周刊-第79期

资讯 警惕大数据成了互联网的“PX项目” 新年伊始 BAT 三家关于数据安全的新闻就成功的吸引了公众的目光,也引发了公众对于大公司收...

深度学习 分布式 大数据 安全 算法 服务器 hadoop 加密 人工智能 数据流 数据安全 容器 spark 开源大数据

自建hadoop集群迁移到EMR之数据迁移篇

自建集群要迁移到EMR集群,往往需要迁移已有数据。本文主要介绍hdfs数据和hive meta数据如何迁移。 前置 已按需求创建好EMR集群。 迁移hdfs数据 主要依靠distcp,核心是打通网络,确定hdfs参数和要迁移内容,测...

mysql RDS hdfs hadoop SQL 数据库 配置 安全组 集群 数据迁移 同步 脚本 EMR Hive 数据同步

开源大数据周刊-第78期

新功能预告:EMR Hadoop集群将增加Flink组件,版本1.4.0;EMR Kafka集群将增加Schema Registry和Res...

分布式 大数据 算法 hadoop 性能 日志 Apache 人工智能 集群 数据安全 开源大数据 分布式计算 流计算 流数据

开源大数据周刊-第77期

资讯 锤炼视频大数据时代的“火眼金睛” 我们身处一个大数据的时代,视频数据的爆炸性增长是这个时代的重要特征之一。如何让计算机看懂视频...

分布式 大数据 安全 算法 互联网 人工智能 集群 开源大数据

HAS-插件式Kerberos认证框架

HAS (Hadoop Authentication Service), 致力于解决开源大数据服务和生态系统的认证支持。目前开源大数据(Hadoop/Spark)在安全认证上只内置支持了Kerberos方式,HAS提出了一种新的认证方式, ...

大数据 hadoop Apache 高可用 数据库 配置 集群 Image Server 插件 plugin

开源大数据周刊-第76期

本期周刊包括开源大数据核心组件Hadoop和Impala的最新消息,以及HBase、Kafka、TensorFlow等主流开源组件的实践分享...

分布式 大数据 安全 架构 hbase hadoop Apache 安全平台 spark 开源大数据 TensorFlow kafka impala

开源大数据周刊-第75期

中共中央政治局12月8日下午就实施国家大数据战略进行第二次集体学习。中共中央总书记习近平在主持学习时强调,大数据发展日新月异,我们应该审时度...

深度学习 大数据 算法 实时系统 Apache 个性化推荐 数据安全 测试 开源大数据 Core

开源大数据周刊-第74期

资讯 大数据早报:海量大数据重度孵化器获A+轮融资 阿里自然语言处理技术获突破11月29日消息,海量大数据重度孵化器宣布公司已于2017年10月获得了广州众上集团的A+轮投资。 百度开源高性能 Python 分布式计算框架 Bigflo...

云栖社区 深度学习 分布式 大数据 架构 算法 分布式系统与计算 storm 性能 SQL Apache 开源大数据 分布式计算 google Hive

E-MapReduce大数据安全实践

E-MapReduce从EMR-2.7.x/EMR-3.5.x版本开始支持创建安全类型的集群,即集群中的开源组件以Kerberos的安全模式...

大数据 安全 hbase hdfs 加密 配置 e-mapreduce Authentication Authorization 认证 授权 kerberos

开源大数据周刊-第73期

资讯 国家公布人工智能四大平台 AI的春天到了? 日前,科技部召开新一代人工智能发展规划暨重大科技项目启动会,并公布首批国家新一代人工智能开放创新平台名单,标志着新一代人工智能发展规划和重大科技项目进入全面启动实施阶段。

云栖社区 数据存储与数据库 互联网产品及应用 深度学习 大数据 HTTPS 云栖大会 http 互联网 人工智能 AlphaGo aliyun 开源大数据 facebook 海量数据

开源大数据周刊-第71期

资讯 我国建成首个国家地质大数据平台“地质云”国土资源部中国地质调查局11月6日发布了我国首个国家地质大数据共享服务平台“地质云”。这也是我国首次将国家核心地质数据库面向社会全领域公开共享,并提供地质信息一站式云端共享服务。

分布式 大数据 hadoop Apache http 互联网 spark 开源大数据 e-mapreduce 身份认证 Blog TensorFlow kerberos Sentry

E-MapReduce上如何升级EMR-Core

本文档将介绍如何将老集群的EMR-Core升级到最新版本 什么是EMR-Core EMR-Core是E-MapReduce集群上支持Hadoop生态组件读写OSS的依赖包。它提供一种高效地读写OSS数据的实现,并不断地在优化中。

分布式 大数据 OSS hadoop 性能 http 集群 e-mapreduce 脚本 EMR Hive

用集群脚本功能安装大象医生优化你的大数据作业

dr-elephant是linkedin开源的大数据作业诊断优化工具,可以读取作业的日志信息,给出可视化的问题诊断和优化建议。 本文介绍如...

大数据 hadoop HTTPS http reduce 集群 Image aliyun 脚本 Hive html github 诊断 作业优化

E-MapReduce是构建于阿里云ECS弹性虚拟机之上,利用开源大数据生态系统,包括Hadoop和Spark,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。

管理员:
鱼跟猫
902
关注
12
成员
180
文章