编程模型(MapReduce和Graph)

  1. 云栖社区>
  2. 博客>
  3. 正文

编程模型(MapReduce和Graph)

红亮 2020-05-09 21:56:33 浏览379
展开阅读全文

MapReduce编程模型

MR基础

最大优点是充分利用了闲置资源,多任务并行,快速得到答案。
拆分-处理-合并

MR框架介绍

MR处理流程

MapReduce(最早由Google提出)是一种分布式数据处理模型;核心过程主要分成2个阶段:Map阶段和Reduce阶段;首先执行Map阶段,再执行Reduce阶段。Map和Reduce阶段的处理逻辑由用户自定义实现,即实现分布式计算。

MR模型的适用场景

搜索:网页爬取、倒排索引,PageRank
Web访问日志分析:分析和挖掘用户在web上的访问、购物行为特征,实现个性化推荐;分析用户访问行为。
文本统计分析:例如小说的WordCount,词频TFIDF分析;学术论文、专利文献的饮用分析和统计;维基百科数据分析等。
海量数据挖掘:非结构数据、时空数据、图像数据的挖掘。
机器学习:监督学习、无监督学习、分类算法如决策树、SVM等。
自然语言处理:基于大数据的训练和预测;基于语料库构建单词同现矩阵,频繁项数据挖掘、重复文档检测等。
广告推荐:用户点击(CTR)和购买行为(CVR)预测

MR框架

用户视角看原理

用户视角谈实现

扩展MR

MR开发使用流程

1、阿里云官网下载插件、配置开发环境

2、新建java项目,完成MR开发

增加mapper

增加Reducer

增加MR Driver

添加处理逻辑

3、本地测试
准备本地测试数据

本地测试

本地测试结果检查

4、导出成jar包,并作为资源上传到ODPS的项目空间

add jar wcMR.jar -f;

MR打包成jar包

5、使用jar命令调用MR(命令示例如下)

jar -resources wcMR.jar -classpath wcMR.jar -classpath wcMR.jar example.wcDriver wc_in wc_out;

6、检查运行结果
7、开发发布完成。
发布

例子:WordCount

MR的开发说明:
1、支持MaxCompute内置类型的bigint,double,string,datetime及Boolean类型,不支持自定义类型。
2、接受多表输入,且输入表的schema可以不同。在map函数中,可以获取当前record对应的table信息。
3、输入可以为空,不支持视图(View)作为输入。
4、Reduce接受多路输出,可以输出到不同表,或者同一张表的不同分区。不同输出的schema可以不同。不同输出间通过label进行区分,默认输出不必加lable,目前不接受没有输出的情况。

MR编程模型-SDK核心接口

MaxCompute MR执行流程

核心接口

MapperBase:映射操作

JobConf:MR任务配置信息

MR使用注意事项

Graph编程模型

Graph概述

Graph的数据结构

Graph的处理流程

Graph的处理伪代码

Graph SDK介绍

Graph的Aggregator机制

Graph的作业运行

Graph开发使用流程

Dijkstra算法

配置java—+eclapse等跟mapreduce步骤都类似

JAVA沙箱限制

网友评论

登录后评论
0/500
评论
红亮
+ 关注