阿里云E-MapReduce 关注
手机版

开源大数据周刊-第71期

资讯 我国建成首个国家地质大数据平台“地质云” 国土资源部中国地质调查局11月6日发布了我国首个国家地质大数据共享服务平台“地质云”。这也是我国首次将国家核心地质数据库面向社会全领域公开共享,并提供地质信息一站式云端共享服务。

分布式 大数据 hadoop Apache http 互联网 spark 开源大数据 e-mapreduce 身份认证 Blog TensorFlow kerberos Sentry

E-MapReduce上如何升级EMR-Core

本文档将介绍如何将老集群的EMR-Core升级到最新版本 什么是EMR-Core EMR-Core是E-MapReduce集群上支持Hadoop生态组件读写OSS的依赖包。它提供一种高效地读写OSS数据的实现,并不断地在优化中。

分布式 大数据 OSS hadoop 性能 http 集群 e-mapreduce 脚本 EMR Hive

用集群脚本功能安装大象医生优化你的大数据作业

dr-elephant是linkedin开源的大数据作业诊断优化工具,可以读取作业的日志信息,给出可视化的问题诊断和优化建议。 本文介绍如...

大数据 hadoop HTTPS http reduce 集群 Image aliyun 脚本 Hive html github 诊断 作业优化

开源大数据周刊-第70期

资讯: 推动云基础设施创新,英特尔与阿里云的“软硬合唱” 对于一家云服务厂商来说,实现软件、服务与硬件基础设施的完美整合,是在激烈市...

云栖社区 深度学习 分布式 大数据 阿里云 hadoop HTTPS Apache 基础设施 阿里巴巴 容器 spark 开源大数据 云服务

开源大数据周刊-第69期

资讯: 阿里巴巴成立达摩院,三年1000亿旨在创造颠覆性基础技术 10 月 11 日,2017 杭州·云栖大会开幕。会上,阿里巴巴集...

云栖社区 分布式 大数据 阿里云 hadoop HTTPS 云栖大会 Apache 阿里巴巴 数据仓库 开源大数据 KV存储 kafka kylin 神经网络

开源大数据周刊-第68期

资讯: 2020年我国大数据产业将破万亿 近日,《2017中国大数据产业发展白皮书》发布。《每日经济新闻》记者对照工信部及各地出台的...

云栖社区 大数据 阿里云 hadoop HTTPS http spark 开源大数据 磁盘

开源大数据周刊-第67期

资讯: Google发布了一个新的Tensorflow物体识别API 做图像识别有很多不同的途径。谷歌最近发布了一个使用Tensorfl...

分布式 大数据 架构 阿里云 HTTPS http 人工智能 spark 开源大数据 分布式计算 OLAP Elasticsearch 图像识别 多维分析

开源大数据周刊-第66期

资讯: Python超过R,成为数据科学和机器学习的最常用语言 近期,数据挖掘资讯网站KDnuggets开展了一项调查,问题是“2016...

云栖社区 编程语言 数据存储与数据库 互联网产品及应用 python 大数据 阿里云 hbase HTTPS Apache http 互联网 开源大数据 分布式系统 存储

开源大数据周刊-第65期

EMR Task计算节点发布,更加灵活的调整计算能力;hbase集群在线无感知扩容磁盘。

云栖社区 数据存储与数据库 linux 互联网产品及应用 大数据 阿里云 HTTPS Apache 阿里技术协会 http 高可用 互联网 SaaS 开源大数据 自动化测试

开源大数据周刊-第63期

EMR资讯: 从EMR-3.4.1版本开始本地盘集群。EMR大数据机型整体方案发布,帮助用户更好的使用大数据机型,从数据可靠性,服务可用性...

云栖社区 数据存储与数据库 系统研发与运维 linux 互联网产品及应用 分布式 大数据 分布式系统与计算 监控 阿里云 HTTPS 阿里技术协会 http 人工智能 开源大数据

E-MapReduce HDFS文件快速CRC校验工具介绍

在大数据应用场景下经常有数据文件的迁移工作,如果保障迁移之后数据的完整性是一个很常见的问题。本文就给大家介绍一下在大数据场景下,如何用工具快速对比文件。

大数据 阿里云 OSS hdfs hadoop 云存储 HASH e-mapreduce 分布式文件系统 file list input

开源大数据周刊-第62期

EMR资讯: EMR上线新地域:德国法兰克福 资讯 AI 大师云集!CCAI 2017 中国人工智能大会盛大开幕 7 月 22 - 23...

云栖社区 深度学习 分布式 大数据 阿里云 hbase HTTPS 人工智能 开源 阿里巴巴 spark 开源大数据 e-mapreduce EMR AI

在E-MapReduce集群内运行Spark GraphX作业

Spark GraphX是一个比较流行的图计算框架,如果你使用了阿里云的E-MapReduce服务,可以很方便的运行图计算的作业。 下面以PageRank为例,看看如何运行GraphX作业

阿里云 hadoop 集群 spark scala e-mapreduce

开源大数据周刊-第61期

EMR资讯: 在北京举行的Strata Data 会议上,EMR团队的木艮进行了《Hadoop遇到云上对象存储——实现原理、陷阱和性能优化...

大数据 storm 性能优化 阿里云 hadoop 性能 HTTPS http 开源大数据 对象存储 EMR 数据同步

开源大数据周刊-第60期

本期周刊聚焦Spark新版本以及大数据行业最新的进展,在技术文章中推荐了微博和携程等互联网公司的大数据平台实践。

大数据 架构 监控 阿里云 hdfs hadoop HTTPS http 平台架构 spark 开源大数据

开源大数据周刊-第59期

资讯 2017年SaaS、Relational和大数据连接趋势 上周,Progress发布了一项调查,该调查显示,越来越多的企业采用...

大数据 阿里云 hbase HTTPS Apache http 互联网 spark 开源大数据 KV存储 企业应用 REST 数据类型

开源大数据周刊-第58期

阿里云E-Mapreduce动态: EMR即将在新的版本中支持本地盘机型,大幅降低集群的存储成本。 资讯 借助亚马逊AWS Sno...

分布式 大数据 架构 阿里云 HTTPS http 电商 spark 开源大数据 e-mapreduce 编程 数据存储

TCP的backlog导致的HBase超时问题排查

TCP的backlog导致的超时问题排查

linux 服务器 hbase HTTPS TCP e-mapreduce Server slb backlog

开源大数据周刊-第57期

ECM功能上线北京region,用户可以通过EMR-3.2.0版本创建新集群体验,ECM提供组件的配置修改/起停等操作

深度学习 大数据 阿里云 机器学习 云计算 hbase hadoop 性能 HTTPS Apache http spark 开源大数据 e-mapreduce

搭建Gateway向E-MapReduce集群提交作业

搭建Gateway向E-MapReduce集群提交作业

java jvm hadoop openjdk 安全组 集群 spark e-mapreduce EMR Hive input Gateway

E-MapReduce是构建于阿里云ECS弹性虚拟机之上,利用开源大数据生态系统,包括Hadoop和Spark,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。

管理员:
鱼跟猫
865
关注
12
成员
163
文章