1. 云栖社区>
  2. 全部标签>
  3. #e-mapreduce#
e-mapreduce

#e-mapreduce#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 |

8月2日云栖精选夜读:微服务架构的分布式事务解决方案

分布式事务是一个绕不过去的挑战!微服务架构本质上就是分布式服务化架构,微服务架构的流行,让分布式事务问题日益突出!尤其是在订单业务、资金业务等系统核心业务流程中,一定要有可靠的分布式事务解决方案来保证业务数据的可靠性和准确性。

分布式 安全 架构 阿里云 阿里巴巴 配置 集群 微服务 容器 弹性伸缩 解决方案 e-mapreduce 物联网

E-MapReduce HDFS文件快速CRC校验工具介绍

在大数据应用场景下经常有数据文件的迁移工作,如果保障迁移之后数据的完整性是一个很常见的问题。本文就给大家介绍一下在大数据场景下,如何用工具快速对比文件。

大数据 阿里云 OSS hdfs hadoop 云存储 HASH e-mapreduce 分布式文件系统 file list input

开源大数据周刊-第62期

EMR资讯: EMR上线新地域:德国法兰克福 资讯 AI 大师云集!CCAI 2017 中国人工智能大会盛大开幕 7 月 22 - 23 日,在中国科学技术协会、中国科学院的指导下,由中国人工智能学会、阿里巴巴集团 & 蚂蚁金服主办,CSDN、中国科学院自动化研究所承办的 2017 中国人工智能大会(CCAI 2017)在杭州国际会议中心盛大召开。

云栖社区 深度学习 分布式 大数据 阿里云 hbase HTTPS 人工智能 开源 阿里巴巴 spark 开源大数据 e-mapreduce EMR AI

在E-MapReduce集群内运行Spark GraphX作业

Spark GraphX是一个比较流行的图计算框架,如果你使用了阿里云的E-MapReduce服务,可以很方便的运行图计算的作业。 下面以PageRank为例,看看如何运行GraphX作业

阿里云 hadoop 集群 spark scala e-mapreduce

开源大数据周刊-第58期

阿里云E-Mapreduce动态: EMR即将在新的版本中支持本地盘机型,大幅降低集群的存储成本。 资讯 借助亚马逊AWS Sno大数据如何改变垂直电商? 垂直电商仍旧将是平台电商们在未来极其有力的竞争者和合作者。

分布式 大数据 架构 阿里云 HTTPS http 电商 spark 开源大数据 e-mapreduce 编程 数据存储

TCP的backlog导致的HBase超时问题排查

TCP的backlog导致的超时问题排查

linux 服务器 hbase HTTPS TCP e-mapreduce Server slb backlog

存储与计算分离:OSS构建表 + 计算引擎对接

看到标题,可能有用户要问:OSS不是用来存图片、视频、及文件的吗,还可以在上面建表、数仓?计算效率和经济性表现怎么样? 本文先给出基本结论: OSS是什么? 对象存储(Object Storage Service,简称OSS)是基于阿里云飞天分布式系统的海量、安全和高可靠的云存储服务,是一种面向互联网的大规模、通用存储,提供RESTful API,具备容量和处理的弹性扩展能力。

大数据 阿里云 OSS HTTPS SLS aliyun e-mapreduce csv 存储 数据存储 Parquet MaxCompute loghub

开源大数据周刊-第57期

ECM功能上线北京region,用户可以通过EMR-3.2.0版本创建新集群体验,ECM提供组件的配置修改/起停等操作

深度学习 大数据 阿里云 机器学习 云计算 hbase hadoop 性能 HTTPS Apache http spark 开源大数据 e-mapreduce

搭建Gateway向E-MapReduce集群提交作业

搭建Gateway向E-MapReduce集群提交作业

java jvm hadoop openjdk 安全组 集群 spark e-mapreduce EMR Hive input Gateway

开源大数据周刊-第54期

阿里云E-Mapreduce实践 EMR集群上capacity scheduler的ACL实现 本文介绍了capacity scheduler的设置和其中需要注意的问题,并结合EMR集群做了实际操作实验。

深度学习 大数据 安全 数据可视化 阿里云 HTTPS Apache http 用户体验 集群 钉钉 aliyun 开源大数据 e-mapreduce html

一个助Hadoop集群数据快速上云工具

当前业界有很多公司是以Hadoop技术构建数据中心,所以本文将探讨如何快速的将Hadoop文件系统(HDFS)上的数据迁移到云上。

OSS hdfs hadoop 集群 数据迁移 e-mapreduce

开源大数据周刊-第53期

HBase Phoenix助力海量数据实时分析、HBaseCon West 2017 大会、Spark在ETL中的应用、HBase在阿里搜索团队的应用实践、开源大数据查询分析引擎及Kudu

大数据 阿里云 hbase etl 性能 HTTPS Apache http 阿里巴巴 工单 钉钉 aliyun 开源大数据 e-mapreduce 开发环境

E-MapReduce启动/停止HBase集群

E-MapReduce的HBase集群启动/停止方式

hbase hdfs LOG cluster 集群 e-mapreduce 脚本 Bash

开源大数据周刊-第52期

利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源隔离和quota限制 本文结合EMR集群,讲述了如何利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源quota限制与管控。

云栖社区 编程语言 数据存储与数据库 深度学习 分布式 分布式系统与计算 实时系统 hbase hdfs hadoop spark e-mapreduce EMR Hive yarn

5月9日云栖精选夜读:不断变化下的阿里云:2017阿里云产品和解决方案全向图(5月版)

近四个月,阿里云变化飞快,那反映在产品上是什么样的?5月份,云栖社区又拿出一张阿里云产品全向图,供大家端倪变化。

云栖社区 大数据 java 阿里云 云服务器 人工智能 安全组 集群 解决方案 e-mapreduce

E-MapReduce集群中HDFS服务集成Kerberos

本文介绍在E-MapReduce集群中HDFS服务集成Kerberos。

hdfs hadoop 配置 集群 e-mapreduce Server xml EMR Security kerberos

E-MapReduce集群启停HDFS/YARN服务

该文章意在帮助大家,在E-MapReduce环境中停止启动yarn,hdfs服务。

云栖社区 大数据 分布式系统与计算 hdfs hadoop shell cluster 集群 e-mapreduce 脚本 EMR Hive awk Bash

开源大数据周刊-第51期

阿里云E-Mapreduce动态 E-MapReduce张北可用区上线服务。 E-MapReduce调度功能强化,支持分钟、小时、天、周、月,多种时间维度的调度。 资讯 Hadoop没有消亡,它是大数据的未来 有人认为 Hadoop 正在失败,但硅谷数据管理公司 Hortonworks 的总经理 Vamsi K. Chemitiganti 并不这么看,为了反驳此前一篇文章《为什么 Hadoop 正在消亡?(Why Hadoop is Failing)》的观点,他在自己的博客上写了一篇论述自己看法的文章,他认为达尔文式的开源生态系统正在确保 Hadoop 成为稳固和成熟的技术平台。

大数据 阿里云 hadoop HTTPS http 高可用 互联网 人工智能 消息中间件 钉钉 开源大数据 e-mapreduce 存储过程 存储

4月21日云栖精选夜读:【校园头条】第1期:找实习、找工作时,让你脱颖而出的秘籍

你还在为寻找一个工作而苦苦追求吗?你想在面试的时候能脱颖而出吗?现在小编为大家准备了找工作的秘籍,这个秘籍一般人我可是不会告诉他的呢!要知道有时候你与工作的距离仅仅只有一个秘籍的差距,看完这个秘籍也许说不定你就会正式走进程序员的美好世界,成为一名真正的程序员呢~

java 阿里云 mysql RDS 云盾 spring 配置 云翼 开源大数据 openapi e-mapreduce

开源大数据周刊-第48期

资讯 云数据库厂商Snowflake获一亿美元融资,Iconiq领投 Snowflake Computing,是一家提供数据存储和查询服务的云数据库公司,以方便分析师用BI工具进行分析。该公司近日宣布获得一亿美元的融资。

大数据 算法 阿里云 hadoop Apache http 互联网 人工智能 钉钉 spark 开源大数据 e-mapreduce kylin 互联网金融

5
GO