阿里流计算平台开发实例之电商双11实时计算

  1. 云栖社区>
  2. 博客>
  3. 正文

阿里流计算平台开发实例之电商双11实时计算

袋鼠云飞扬 2017-11-13 16:31:20 浏览2027
展开阅读全文
  由于之前没写过博客之类的文章,所以这次写也是心中揣揣,也是由于这个项目间没有找到相关的一些文档,当时就想着完成后写一个出来,如果有写的不周到的地方,请联系我改正,谢谢。

一、 项目案例
用户商业模式含盖电商零售与加盟店批发零售,本次主要业务需求在于淘宝双11期间能实时计算用户所关注的一些指标数据,如:订单数、订单金额、商品SKU数、订单来源地、商品排名等等。
基于这些指标需求,除了要达到实时的要求以外,还需要具备适当的展现图设计,本次使用的是阿里云的DATAV,提供饼状图占比分析、商品与类目数据排名、国家地图热力展示等等。
二、 技术架构
由于用户的数据在云下,我们考虑的首先是迁移数据上云,再通过DTS将数据同步至DATAHUB,接着使用阿里流计算开发平台接入DATAHUB数据,并开发流计算代码,将执行结果输出至RDS MYSQL,最后DATAV引用RDS数据并开发图形展现界面。最终设计的技术架构如下图所示:

图:流计算数据逻辑设计图
11

三、 技术实现
1、 数据迁移与数据同步:由于数据不能直接到DataHub,使用阿里云DTS工具先完成数据迁移至RDS,链接:https://dts.console.aliyun.com/ 。再使用其数据同步功能,将RDS数据同步至DataHub(注:RDS收费可包月、DTS收费按小时)。在数据同步环节需要注意,根据企业数据量的大小,调整数据传输的通道大小。另外DataHub会自动创建对应同步的表的Topic,所以不需要在同步前自建Topic,建了会报错。(注意系统生成的Topic与自建的有哪些不同)
2、 StreamComputer流计算开发:其开发方式和技术要求,相比传统的开源产品,要简单许多,而且流计算平台功能比较丰富,特别是监控系统。其链接地址是:https://stream.console.aliyun.com
2.1、datahub业务表的引用:
screenshot

注解说明:
a、 在流计算引擎中建一张表,该表的名称是什么,建议和DataHub上一致
b、 要引用到该表的哪些字段,建议不需要的字段不要引用
c、 系统自建的TOPIC,该字段纪录的是该行数据是更新还是插入还是删除
d、 流计算可以引用多种数据源,这里表明数据源类型
e、 固定写法
f、 DataHub上的项目名称
g、 DataHub上的topic名称
h、 DataHub默认保留三天内的业务数据,该时间指定流计算引擎从哪个时间点取数

  2.2、维表的引用:

screenshot

注解说明:
a、 该表的主键是什么,需要指定
b、 维表的固定写法,表明维表的更新时间(默认是多久?调整更新时间怎么弄?)。
注意该表的来源是rds,后面的连接方式和正常的MYSQL连接方式没什么区别。
2.3、数据输出表的写法和维表的写法基本一致,只是没有PERIOD FOR SYSTEM_TIME,要提前在RDS上建好即可。
2.4、应用脚本开发:将引用到的业务表与维表进行关联,将数据输出至目标表
111

注解说明:
a、和标准SQL没太大区别,主要就是维表的使用方式略有不同,不过也是固定写法,照抄就行。
注意:由于原始数据有插入、删除、更新三种动作,所以DataHub上也会有三种状态的数据,这就需要分别进行处理,否则数据会不准。
3、 DataV开发:此处省略,简单归纳即:托一个图形,写一个SQL。

四、项目预案
由于流计算可能存在的风险,我们考虑以传统的计算方式开发第二套方案,当流计算出故障时,能快速切换方案,保证数据基本能正常使用,可能延迟会大一些。
通过评估,由于数据量预计不会太大,考虑使用定时调存储过程的方式计算指标到第二套输出表上,再开发第二套报表,展现和第一套一致。设计图如下:
33

图:定期调任务刷数据

通过实际测试,大部份指标能在半分钟内甚至十秒内出来,所以这些延迟勉强可以接受。由于技术实现并不复杂,此处略过。

五、项目压测
为了保障数据爆发时,平台依然能稳定的工作,我们进行了相关的一些测试。首先模拟大量的数据产生,确认数据从本地库至RDS的同步时间,RDS至DATAHUB的时间,以及流计算所处理的时间。
通过多次的测验得出:当数据量持续比较大的情况下,数据会有一些延迟,性能瓶颈主要体现在RDS以及DTS同步至DATAHUB环节,其中后一步比较明显。而平台稳定性基本上是可以的,流计算的处理效率非常令人满意。

注:非常感谢这个项目期间阿里技术人员的大力协助!

网友评论

登录后评论
0/500
评论
袋鼠云飞扬
+ 关注