曾经踩坑党,如今护航忙 | 袋鼠云的双11故事之一

  1. 云栖社区>
  2. 袋鼠云技术团队>
  3. 博客>
  4. 正文

曾经踩坑党,如今护航忙 | 袋鼠云的双11故事之一

袋鼠云 2017-11-09 19:37:46 浏览1787
展开阅读全文


e678c0aaa961b1707ac3ad4a861ac84e210d4e5d

普通人提起双11,谈的都是剁手党

袋鼠云提起双11,谈的却是踩坑党


每年双11,同样的通宵达旦、同样的激动万分、同样的心跳加速,同样的肾上腺素增加,不一样的是:剁手党在Happy,踩坑党在忧虑。


这个双11,袋鼠小妹采访了曾经参与过阿里双11的几位袋鼠云技术专家,为大家分享他们别样的双11故事。他们分别是袋鼠云首席大数据架构师申杭、首席数据库架构师俊达(大家尊称:达叔),首席运维专家留良、首席售后服务专家南晨。(恩,都是首席,Teamleader级别)


袋鼠小妹有故事,那你准备好酒了么?


————


“ 曾经踩坑党,如今护航忙 


袋鼠云的双11故事 第一章


 from 申杭


bcc9e8ae5587cc483d5eca14686118722ae7b458

申杭(花名)

原阿里巴巴无线事业部-数据服务团队

现任袋鼠云首席大数据架构师



袋鼠小妹:杭哥,先介绍一下原来你在阿里所在的团队吧。

 

申杭:啊,让我想想是哪个团队。。

(袋鼠小妹OS:哥哥,你都不记得你原来的部门名字了么。。。。)


申杭:事业部就是无线事业部,团队好像就叫数据服务团队(疲惫脸),反正就是干活(苦力)的那个部门。

 

袋鼠小妹:那之前在双十一时,你们团队主要负责做什么?

 

申杭:我们是负责为集团所有的移动应用(App)提供数据服务,比如手机淘宝、天猫app、钉钉等。

当时整个阿里无线数据一天大概有数千亿记录的增量,为阿里集团开展广告投放、搜索引擎、个性化推荐、精准营销,GProfile等提供数据技术支撑。

比如我们当时开发的一个产品叫 “无线数读”,这个产品主要为阿里系的各个APP提供运营状况分析。


划重点一:

“ 高效计算鲜活的数据,并让数据价值实时得到体现,在日增数据量几千亿的情况下,需要有强大的计算能力和技术保障能力做为支撑。


袋鼠小妹:那么那时候双11做这些数据应用,技术难点有哪些?

 

申杭:如何对庞大数据进行高效、快速的实时计算和处理,从而为后续数据应用提供支撑,保证数据应用的时效性是最大的难点。

 

数据在它产生的几秒以内,是最鲜活的,是最有价值。拿个性化推荐来讲,比如我下单买了一个登山杖,如果在页面能实时或者下单之后的5秒以内给我推荐一个登山鞋,那我可能会点进去看看,如果推荐的商品符合我的需求和喜好,那么,我可能就会一起下单消费。但是如果要是在一小时之后,一天之后,在我已经关闭掉购买页面之后,再我推荐登山鞋,我可能注意力已经不在登山这件事儿了。

 

再拿精准营销的应用举例,精准营销是以人、商品的数据标签化为基础,以阿里的庞大的用户数量、商家数量、商品类目,进行实时精准营销,这个难度可想而知。

 

所以,高效计算鲜活的数据,并让数据价值实时得到体现,在日增数据量几千亿的情况下,需要有强大的计算能力和技术保障能力做为支撑。


袋鼠小妹:现在在袋鼠云,还在为哪些客户做双11的数据服务?

 

申杭:比如我们现在正在服务的百草味


袋鼠小妹:啊,百草味我知道,好像我们是在为他们做今年双11的可视化大屏。

 

申杭:对。像往年天猫双11的实时作战大屏一样,百草味也有意愿做一个这样的可视化大屏,对外实时展现百草味各渠道在双11当天的销售信息,物流信息等,对外展示百草味的强大品牌影响力和技术实力。

 

袋鼠小妹:看起来设计酷炫,动态效果震撼的可视化大屏其实背后实现是很复杂的,需要强大的实时计算以及数据处理能力为支撑。那么在做百草味可视化大屏项目时,主要的技术难点有哪些?


划重点二:

“ 业务系统非常复杂,数据分散存储,异表数据实现同步实时计算、处理、展现是难点。


申杭:技术难点主要有两点,数据迁移和双流join

 

先说第一点,数据迁移。数据迁移到云上为什么会成为难点,因为要做的不是普通的数据迁移,而是数据的实时迁移,从云下迁移到云上的过程中,数据指标的计算要是实时的。同时,目前客户采用的是分库分表的数据库架构,巨量的数据分别散落在20多个数据库实例中,需要快速无感知、安全0丢失、保证后期可维护性的同时进行数据迁移。

 

第二点双流join。

 

袋鼠小妹:什么是双流join?我只知道join是一个数据库领域的术语。

 

申杭:确实是数据库相关的。双流,可以顾名思义一下,就是有两个数据流。


由客户本身ERP和业务系统决定,现在客户有两张大表,我们称为主从表结构。主表主要承担主要数据信息的存储,比如用户ID、订单ID、订单金额等。从表则负责承担业务明细信息的存储,比如购买商品的数量、商品的类目尺寸明细等。也就是说同一个订单的数据是分散在两张表中的,需要通过join,进行同步数据处理,像双11这样的时间节点,交易量在瞬间达到峰值,还有很多秒杀、爆款产品的抢购等活动,在这样高并发场景中,做到实时的、同步的数据处理和展现,就是一个技术难点。

 

但是袋鼠云有强大的DBA团队,他们在过去负责和参与双11的活动中,踩过无数的坑、接受过更复杂的技术考验,熟悉双11活动技术演练的环节和流程,感谢DBA团队的技术支撑。同时袋鼠云大数据团队熟悉阿里云大数据的整个技术架构体系,通过两支团队的强强联合,这个难题一定会得到解决。


eaaa1458fbe005976b2ae037d8e8c7baf6eb97a1

 

袋鼠小妹:那对比一下,现在在袋鼠云和客户一起作战双11,和以前在阿里护航双11,你觉得有哪些不一样的感受?

 

申杭:先说一样的感受吧,那就是当双11到来的时候,都是既兴奋又忧虑的。兴奋的是,看到双11作战大屏上的交易数字,以及大家买买买的happy时,想到这些背后由自己所在的团队做技术支撑,这么多人在体验和享受自己的努力成果,是很兴奋的。但是也是忧虑的,交易额越来越高的时候,这样高并发的场景,我们的技术到底能不能得到支撑,虽然之前做过无数次的演练,也有无数的预案方案,但会不会有一些突发情况之前没有考虑到,还是心惊胆战的。

 

不一样的感受,之前在阿里是在给整个集团做技术支撑,现在则是给像百草味这样的客户一样,对外输出之前积累的经验,这个是不一样。


(袋鼠小妹OS:恩,这个回答很官方。。。)



袋鼠小妹说:


 作为一个资深的大数据架构师,申杭更多的是从大数据的角度来谈双11狂欢夜背后的技术支撑力量,那么接下来的三篇,还将会结合袋鼠云本次双11期间服务的客户案例,更深入地和大家探讨双11护航工作的每个环节。


6601ee567e2433587afe4c00e183e2d6bcc37530


最后:


敬请期待  袋鼠云的双11故事 第二章  from 南晨

网友评论

登录后评论
0/500
评论
袋鼠云
+ 关注
所属云栖号: 袋鼠云技术团队