作者：邓力，entobit技术总监，八年大数据从业经历，由一代hadoop入坑，深耕云计算应用领域，由从事亚马逊EMR和阿里云EMR应用开发逐步转入大数据架构领域，对大数据生态及框架应用有深刻理解。
引言
笔者近几年工作以架构为主，本系列文章旨在从系统架构层面提供一定参考和帮助。
本文默认阅读文章的小伙伴们有MR/SPARK等基础，文中不再重复介绍相关知识。
本文为玩转阿里云EMR系列第二篇，第一篇文章为基础介绍和样例实战，可以查看[玩转阿里云EMR三部曲-入门篇]()
集成自有服务与EMR
从2016公测到最新的EMR版本，成本控制与集成服务一直是我们需要解决的难题。成本可以通过按量集群控制，按照需求启动合理规模的集群并按小时付费。于是自有服务集成是关键问题
自有服务
各公司或者组织内部提供API接口/调度响应及其他类型的服务
- 集成场景
- 资源隔离
- 弹性扩展
- 高并发
- 低成本
资源隔离：离线计算使用的自有服务不能和产品线公用，否则导致高并发情况下生产线体验下降
弹性扩展：随着离线计算的规模对应伸缩
高并发：提供高并发访问支持
低成本：成本可以按小时计费，并且没有额外费用
架构分析
平台下自有solr集群，离线计算任务需要利用solr集群查询获取文本相似的内容，直接使用生产线集群会降低用户访问体验甚至导致生产环境不可用。
那么是否可以利用EMR集成自有solr集群？
EMR引导操作
在启动EMR集群前可以初始化用户自定义脚本，创建用户自有服务或者环境。详细参考引导操作
引导操作分为两种类型：
- 自定义操作
用户完全自定义脚本类型，任意服务或者环境都可以指定安装
- 运行条件
基于EMR官方提供的run-if.py按条件执行
技巧：
- 自定义操作下可以基于节点类型并安装指定的应用和服务
- 自定义脚本内文件可以使用OSS存放
集成方案
1.利用引导操作在EMR集群MASTER服务器安装solr服务
2.利用引导操作在EMR集群所有节点安装solr服务
其中1只对于MASTER节点有高配置需求，2对于所有节点有高配置要求。1成本更低，2并发更高。根据实际按需选择。
这里选择方案2
注：使用方案1时需要判断节点类型
实现细节
基于方案2，利用EMR按量需求操作如下：
1.修改集群模板配置，选择高配机型，建议使用16C64G实例。在集群模板高级设置中，添加引导操作并保存
2.编写installSolr.sh并上传OSS
downloadJar() {
mkdir /mnt/work
osscmd --id=xxxx --key=yyyy -H oss-cn-beijing-internal.aliyuncs.com --replace=true downloadallobject oss://zzz/jar/ /mnt/work/
}
installENV() {
cd /mnt/work/lib/
tar -xzf solr.tar.gz
cd solr/bin
./solr start -p 8983
}
main() {
downloadJar
installENV
}
main
AI 代码解读
3.复制solr服务打包为tar.gz文件并上传至对应步骤2中的OSS://zzz/jar/路径
cp -r solr targetDir/
cd targetDir/
tar -czf solr.tar.gz solr
osscmd put solr.tar.gz oss://zzz/jar/
AI 代码解读
4.编写spark任务调用solr接口数据并验证返回值
由于采用的方案2，每个集群节点都有solr服务，此时可以利用本机的节点查询, 核心代码部分
#! /usr/bin/python
import requst, sys
from pyspark import SparkContext
from pyspark import SparkConf
from pyspark.sql import SQLContext
...
def solrCaller(item):
keyword=item['keyword']
r=request.post('http://127.0.0.1:8983?q='+keyword)
return r.text
if __name__ == "__main__":
reload(sys)
sys.setdefaultencoding('utf-8')
conf = SparkConf().setAppName("solr spark with oss")
conf = conf.set("spark.hadoop.fs.oss.impl", "com.aliyun.emr.fs.oss.OssFileSystem")
sc = SparkContext(conf=conf)
sqlContext = SQLContext(sc)
indexRDD = sc.textFile("oss://xxx:yyy@zzz/data/")
indexSQL = sqlContext.read.json(indexRDD)
indexDF = sqlContext.sql("select keyword, id from indexSQL")
indexDF.map(solrCaller).collect()
AI 代码解读
5.选用solr集成模板并执行作业流
更多思考
以上是使用过程中遇到的问题及解决方案，该方案还有提升空间，比如利用节点随机请求数据，可以进一步优化资源。
除次之外还可以利用引导操作安装各种环境，比如python依赖的分词包，mysql驱动等等。
如果集群无法满足并发需求，可以继续增加节点。包月集群可以使用弹性伸缩功能
总结：
利用EMR引导操作可以使用自定义脚本安装任意自有服务和环境，隔离计算和生产资源，并在极致成本控制下最大化并发和可扩展性。完整的自定义设计可以满足任意自有服务构建的集成需要。
欢迎对EMR及相关技术感兴趣的同学进钉钉群一起讨论 :)
