1. 云栖社区>
  2. 全部标签>
  3. #e-mapreduce#
e-mapreduce

#e-mapreduce#

已有0人关注此标签

内容分类:
博客 | 问答 | 课程 |

Hadoop黑客赎金事件解读及防范

年关将至,Mongodb数据丢失的事情还在眼前,数以千计的Mongodb数据库已经被删除或者被黑客勒索,就在最近一段时间,黑客也在攻击Hadoop,有不少Hadoop集群的数据全部丢失,这些数据甚至有上TB的数据量,对企业造成了巨大的损失。本文讲述这个问题及后续的预防方案。

安全 MongoDB hdfs hadoop HTTPS 安全组 集群 数据安全 spark aliyun e-mapreduce 数据备份 黑客

开源大数据周刊-第38期

本期关注:梨视频基于阿里云E-MapReduce搭建视频推荐系统的实践,Apache Eagle成为新的顶级项目,英特尔开源的分布式深度学习库BigDL,Hadoop 3.0新功能测评

深度学习 分布式 大数据 阿里云 性能 HTTPS Apache http 镜像 集群 钉钉 解决方案 开源大数据 e-mapreduce 大数据分析

开源大数据周刊-第37期

[阿里云E-MapReduce动态] E-MapReduce 2.3.1镜像主版本发布基础镜像CentOS 6.5内核版本升级到2.6.32-642;并支持job failover 资讯 2017年数据领域的八大发展趋势 在2017年数据社区将会有大量的机会出现,并伴随一些危机性的挑战,

分布式 大数据 阿里云 云计算 hbase hadoop HTTPS Apache http spark 开源大数据 e-mapreduce Elasticsearch flink

梨视频:基于阿里云E-MapReduce搭建视频推荐系统的实践

梨视频由前澎湃新闻掌门人邱兵创立。 在上线之前,它就获得了黎瑞刚华人文化近1亿美元投资,旗下《微辣》栏目总播放量已经超过4亿,并在上线1个月后获得“年度视频新媒体”大奖。 这样一款脱胎于传统媒体的创业型短视频软件,在视频领域异军突起,不仅让内人士在感叹梨视频内容生产力之强大的同时,也诧异于是谁在

大数据 阿里云 日志 模块 数据处理 数据流 集群 排序 数据分析 spark e-mapreduce EMR 云平台 推荐系统 梨视频

梨视频:基于阿里云E-MapReduce搭建视频推荐系统的实践

深度解答:梨视频如何基于阿里云快速搭建一个套推荐系统?

阿里云 日志 模块 数据处理 数据流 集群 排序 spark e-mapreduce EMR 云平台 数据中心 存储 推荐系统

Spark入门必学:预测泰坦尼克号上的生还情况

第一次听闻Spark是2013年年末,当时笔者对Scala(Spark的编程语言)感兴趣。一段时间之后做了一个有趣的数据科学项目,试图预测泰坦尼克号上的生还情况(Kaggle竞赛项目,通过使用机器学习预测泰坦尼克号上哪些乘客具备更高的生还可能性)。通过该项目可以更深入地理解Spark的概念和编程方式

大数据 RDS e-mapreduce

Apache Flink改进及其在阿里巴巴搜索中的应用

阿里是世界上最大的电子商务零售商,其2015年的年销售额就超过了eBay和Amazon的总和,达3940亿。Alibaba Search,个性化搜索和推荐平台,既是顾客的关键入口,也承担了大部分的在线收益。因此,阿里搜索基础设施团队一直在努力改进产品。

架构 算法 开源 阿里巴巴 集群 e-mapreduce 存储 flink

首次揭秘|为6.4亿人次出行提供无线网络的技术架构

借助“互联网+大数据+机场”三轮驱动,掌慧纵盈每年为6.4亿人次出行提供无线网络连接服务。 随着业务的拓展,随之后来的挑战是数据量的暴增。 2016年,掌慧纵盈(股票代码:835736)通过阿里云产品,率先构建了业界领先的大数据平台。 本文阐述了一家物联网企业的业务架构和数据架构,以及技术选型

大数据 架构 阿里云 hbase HTTPS 集群 工单 spark e-mapreduce 索引 物联网 Hive 云平台 存储 ScreenShot

开源大数据周刊-第36期

阿里云E-MapReduce1.6.0版本上线,增加交互式工作台、支持独享机型; 国际站上线,海外用户可以购买E-MapReduce服务

大数据 架构 分布式系统与计算 监控 阿里云 hbase hadoop http 集群 钉钉 spark 开源大数据 e-mapreduce Cassandra Hive

开源大数据周刊-第35期

阿里云E-MapReduce实践 如何在E-MapReduce上使用引导操作安装kafka组件 当前E-MapReduce中没有kafka组件,需要额外安装。本文介绍如何用E-MapReduce引导操作来安装kafka_2.10-0.10.0.0版本。

大数据 开发框架与中间件 分布式系统与计算 监控 阿里云 云计算 hbase hadoop 函数 HTTPS 公有云 Apache spark 开源大数据 e-mapreduce

如何在E-MapReduce上使用引导操作安装kafka组件

当前emr最新版本2.1.1没有kafka组件,需要额外安装。本文介绍如何用E-MapReduce引导操作来安装kafka_2.10-0.10.0.0版本。

云栖社区 分布式 消息系统 大数据 开发框架与中间件 分布式系统与计算 HTTPS LOG 配置 集群 aliyun e-mapreduce Server 脚本 sed

Zookeeper、Hadoop、Sqoop、Mahout、HBase整合安装

环境说明 系统 CentOS 7.2 用户 root 用户 hadoop 服务器3台 IP:10.1.5.51(master),10.1.5.52(slave1),10.1.5.53(slave2) JAVA 1.7.X Zookeeper版本:3.4.9 Hadoop版本:2.7.3 Sqoop版本:1.99.7 Spark版本:2.0.2 HBa

OSS RDS e-mapreduce

开源大数据周刊-第34期

阿里云E-MapReduce实践 使用E-MapReduce服务处理阿里云文件存储(NAS)的数据 文件存储是阿里云今年新推出的存储服务,因为它提供标准的文件访问协议,用户无需对现有应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件系统

大数据 架构 性能优化 阿里云 HTTPS http 高可用 数据库 数据仓库 钉钉 spark aliyun 开源大数据 e-mapreduce

使用E-MapReduce服务处理阿里云文件存储(NAS)的数据

给大家介绍一个使用场景,可以将E-MapReduce的Hadoop作业和文件存储(NAS)结合在一起,发挥分布式存储和分布式计算在一起的威力

大数据 阿里云 hadoop HTTPS 高可用 配置 控制台 aliyun 开源大数据 e-mapreduce 分布式计算 分布式文件系统 分布式存储 存储 NAS

使用E-MapReduce服务将Kafka数据导入OSS

kafka是一个开源社区常用的消息队列,虽然kafka官方(Confluent公司)提供插件从Kafka直接导入数据到HDFS的connector,但对阿里云对文件存储系统OSS却没有官方的支持。本文会举一个简单的例子,实现kafka的数据写入阿里云OSS。因为阿里云E-MapReduce服...

阿里云 OSS hdfs Apache 配置 集群 e-mapreduce test source type kafka

开源大数据周刊-第31期

数据生态治理要啃硬骨头、将人类送上火星、大数据框架对比、SQL on Hadoop

大数据 引擎技术 阿里云 HTTPS 云栖大会 Apache http 钉钉 aliyun 开源大数据 e-mapreduce 云架构 移动互联网 推荐系统 hadoop、spark

【杭州云栖大会PDF资料大放送】疲了,倦了,不如来这里看看云栖大会上大牛们的精彩分享吧

2016年杭州云栖大会各领域技术大牛分享的技术干货以及热门讲义整理合集。这个双十一,你也该屯点技术知识啦!

大数据 redis 架构 云栖大会 公有云 人工智能 e-mapreduce 分布式计算 私有云 推荐系统

开源大数据周刊-第30期

开源大数据周刊-第30期:阿里云E-MapReduce上的案例分享;重磅新闻,阿里云在CloudSort上夺冠;Beam,Flink,KV技术分享。

分布式 大数据 分布式系统与计算 阿里云 hadoop HTTPS Apache http 数据库 开源大数据 e-mapreduce Hive flink Beam CloudSort

开源大数据周刊-第29期

阿里云E-Mapreduce动态 E-Mapreduce产品即将发布的版本信息如下: 1.5.2版本 增加预定制配置,如试用型/入门型/计算型/内存型等 增加包年包月自动续费功能 1.6.0版本 交互式查询(支持Hive、Spark) 资讯 CIO时代学院院长姚乐:大数据的行业应用策略 关于大数据的发展,CIO时代学院院长姚乐认为有三个趋势值得我们关注:第一、数据资源鉴权问题;第二、与云计算的深度融合;第三、与人工智能的深度融合。

大数据 架构 算法 阿里云 hbase HTTPS http 高可用 互联网 钉钉 spark 开源大数据 e-mapreduce 分布式计算 flink

泰为基于EMR的考量与实践

阿里云EMR是基于 Hadoop 的生态环境来搭建,同时可以跟阿里云的对象存储服务OSS等云服务进行无缝数据交换,方便用户将数据在存储平台和计算平台之间进行输入输出,以满足不同业务类型的需要,所以对阿里云EMR充满期待。

OSS e-mapreduce

3
GO