1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. E>
  5. emapreduce

当前主题:emapreduce

海量监控日志基于EMR Spark Streaming SQL进行实时聚合

作者:伯箫,阿里云高级开发工程师。现在在阿里云表格存储团队,负责管控系统的开发,对NOSQL类数据库系统有一些了解。 前言 从EMR-3.21.0 版本开始将提供Spark Streaming SQL的预览版功能,支持使用SQL来开发流式分析作业。结果数据可

阅读全文

海量监控日志基于EMR Spark Streaming SQL进行实时聚合

作者:伯箫,阿里云高级开发工程师。现在在阿里云表格存储团队,负责管控系统的开发,对NOSQL类数据库系统有一些了解。 前言 从EMR-3.21.0 版本开始将提供Spark Streaming SQL的预览版功能,支持使用SQL来开发流式分析作业。结果数据可

阅读全文

海量监控日志基于EMR Spark Streaming SQL进行实时聚合

前言 从EMR-3.21.0 版本开始将提供Spark Streaming SQL的预览版功能,支持使用SQL来开发流式分析作业。结果数据可以实时写入Tablestore。 本文以LogHub为数据源,收集ECS上的日志数据,通过Spark Streamin

阅读全文

20160808北京云栖大会workshop-EMapReduce分析网站数据

E-MapReduce钉钉群 目标 了解E-MapReduce创建集群流程; 熟悉端口转发访问集群可视化组件zeppelin; 完成用zeppelin分析热播数据的示例。 创建集群 集群包括一组ecs实例和运行在实例上的分布式计算框架(Hadoop,Spar

阅读全文

使用Spark Streaming SQL基于时间窗口进行数据统计

作者:关文选,花名云魄,阿里云E-MapReduce 高级开发工程师,专注于流式计算,Spark Contributor 1.背景介绍 流式计算一个很常见的场景是基于事件时间进行处理,常用于检测、监控、根据时间进行统计等系统中。比如埋点日志中每条日志记录了埋

阅读全文

使用Spark Streaming SQL基于时间窗口进行数据统计

1.背景介绍 流式计算一个很常见的场景是基于事件时间进行处理,常用于检测、监控、根据时间进行统计等系统中。比如埋点日志中每条日志记录了埋点处操作的时间,或者业务系统中记录了用户操作时间,用于统计各种操作处理的频率等,或者根据规则匹配,进行异常行为检测或监控系

阅读全文

使用Spark SQL进行流式机器学习计算(上)

作者:余根茂,阿里巴巴计算平台事业部EMR团队的技术专家,参与了Hadoop,Spark,Kafka等开源项目的研发工作。目前主要专注于EMR流式计算产品的研发工作。 今天来和大家聊一下如何使用Spark SQL进行流式数据的机器学习处理。本文主要分为以下几

阅读全文

使用Spark SQL进行流式机器学习计算(上)

今天来和大家聊一下如何使用Spark SQL进行流式数据的机器学习处理。本文主要分为以下几个章节: 什么是流式机器学习 机器学习模型获取途径 系统演示 1. 什么是流式机器学习 通常,当我们听到有人提到实时数据机器学习时,其实他们是讨论: 他们希望有一个模型

阅读全文

emapreduce相关问答

查看更多 提问题

使用emapreduce集群,怎么访问公网呢?包括计费等能详细解析下吗?

使用emapreduce集群,怎么访问公网呢?包括计费等能详细解析下吗?

阅读全文

可以不通过emapreduce的管理平台使用oss存储服务吗?因为公司有一个账号但不能给我,我只能通过ssh访问给我创建的集群

可以不通过emapreduce的管理平台使用oss存储服务吗?因为公司有一个账号但不能给我,我只能通过ssh访问给我创建的集群

阅读全文

emapreduce集群如何为python安装package

我先为python安装numpy这个package 在本地的集群中为python安装package是使用命令:‘pip install numpy’ 请问在阿里云的emapreduce集群中如何安装?在python2.6文件夹下没有找到pip这个程序。

阅读全文

emapreduce的spark跑在哪里呢?

emapreduce的spark跑在哪里呢?

阅读全文

怎么登陆emapreduce的master节点

怎么登陆emapreduce的master节点

阅读全文

我再使用emapreduce,hive脚本中的变量参数传递

我在hive怎么传递参数呢?

阅读全文

emapreduce可以支持交互式运行作业吗?

emapreduce可以支持交互式运行作业吗?

阅读全文

我使用emapreduce hadoop jar依赖的jar怎么上传

我使用emapreduce hadoop jar依赖的jar怎么上传

阅读全文