数据规模恼同程,混合云飘来除杂症

简介: 10月13日2016杭州云栖大会拉开帷幕,电商专场的同程旅游首席架构师王晓波带来了“同程带您云端翱翔”的重要演讲。本次分享对同程旅游进行了简要介绍,接着分享了同程旅游的数据驱动历程,最后着重讲述了在云端时代的同程旅游,包括公有云和私有云的混合打通等。精彩不容错过——
10月13日2016杭州云栖大会拉开帷幕,电商专场的同程旅游首席架构师王晓波带来了“同程带您云端翱翔”的重要演讲。本次分享对同程旅游进行了简要介绍,接着分享了同程旅游的数据驱动历程,最后着重讲述了在云端时代的同程旅游,包括公有云和私有云的混合打通等。精彩不容错过——

 

以下内容根据演讲PPT及现场分享整理:

 

在线旅游更多的考虑怎样让用户满意。本文通过三个方面和大家分享同程旅游如何用数据驱动实现业务创新和业务快速发展的,首先对同程旅游进行了简要介绍,接着分享了同程旅游的数据驱动历程,最后着重讲述了在云端时代的同程旅游,包括公有云和私有云的混合打通等。

以下为精彩内容整理:

 

发现旅游之美

旅游是件很美的事情,怎样保证用户找到的是旅游佳地呢?同程旅游就是为了让用户更好的去旅游,其在中国景点门票预订市场和邮轮领域处于领先位置,并积极布局境外游、国内游、周边游等业务板块。同程旅游旗下运营同程旅游网(www.LY.com)和同程旅游手机客户端, 2016年服务人次将达到3.5亿,年均增长300%,让更多人享受旅游的乐趣是同程旅游的使命。

 

数据驱动的同程旅游

初期时代

初期时代同程的数据驱动更多的关注网站被搜索引擎输入的情况、收录排名、关键词、现金流和流量转化。此时的网站很小,基于小数据做了一些基础服务,访问统计,使用关系数据库BI,且服务器托管。

移动时代

移动时代同程的APP开始推广,2014年下载量已达2亿,此时同程的数据驱动开始考虑到下载量、激活情况、每天在线使用同程旅游的用户数量、每天的新用户数量、复购率以及留存率等。此时的商品也更加多样化,有高频和低频商品之分,怎样让高频转向低频去消费和怎么让低频又返回到高频消费是我们要去分析的,我们采用了开源大数据架构,基础设施从几台变成几千台服务器,开始建设自己的私有云平台。

数据时代

数据时代同程做到线上线下的融合,建设了公有云+私有云的平台,同程的数据驱动更多的关注门店、高潜用户、旅游顾问等,旅游顾问就是大数据+人的线下推广。现在,同程是一家架在互联网上的“旅行社”,更多的是用数据去驱动整个业务的发展。

 

此外,数据驱动了用户画像,同程的用户画像是根据时间、人物以及当前情况定制的用户画像;数据也驱动了产品的选品,订单的预测;数据还驱动了安全风控、防黄牛党、研发运维,用技术驱动技术,由被动转主动,用数据告诉大家什么才是好的,解决在业务型互联网公司技术的驱动率。

同程数据驱动背后的数据规模也很庞大,有5000+服务器,2w+容器,应用3000多个,PV20亿左右,日均报错3W多,其中60%通过大数据应用平台自愈,日均拦截恶意访问也有10W+。

 

同程旅游云端时代

解决基础问题

十年前,同程只是一个简单的网站架构,性能瓶颈频发,没有任何运维,更别提伸缩性了。

cc4650e716fbc67d536f64147c7968dd074f3faf

但是现在,同程已经不再简单,各种应用增加3000多个,每天数亿级的请求量,原来很简单的一句SQL,现在已经没法用了,服务器也已经加到无法再加,运维也是问题百出。系统越来越复杂,基础设施难度越来越大。

从小系统到大系统长大是一个必须经历的过程,于是,我们做出了改变。

应用系统有很多,业务发展也很快,我们进行了分层处理。先解决基础问题,我们需要一个云解决基础设施的困难,需要一些一流水准的中间件,需要一个经验丰富的运维团队;再解决业务问题,将业务微服务化,将数据库变成数据平台,将原完全.NET向多语言发展,建立技术体系。

环境

1f51fe063a229a593009c0880826a03761edc821

我们部署了大量的Docker容器、轻量化的KVM,同时还有直接物理的部署(在私云中有部分部署不需要虚拟化会更好;我们的负载区服务器和大部分的数据库)。

缓存

af417abb1f8c17b5df68e6b883a81437e39bec08

我们在缓存上也做出了改变,多个小集群+单节点组成一个云,以场景划分集群,实时平衡调度数据,动态扩容缩容。

数据库

3577d30c4969f5a42c013ed3e643a66fcf3b4ad8

数据库是海量流量系统平台核心命门之一,数据库的热备机比较多但一些非核心库访问量很低。

运维

4cdb126696bdb3916fff09b981e698d7580a8279

 

虽然做了很大的改变,但问题依然存在。基础成功云化后提供了基础云服务但说到实处也不过提供一堆可部署应用的机器;应用系统的扩展,速度开发,重用性等等也有很多问题;应用系统的故障依然很大。此外,还有弹性扩容的问题,以及新技术(语音识别)的支撑问题。

用云来支撑整个技术基础体系

公有云是创新驱动首选,我们使用了阿里云等云服务,实现了快速扩容,基础产品丰富可靠,安全也有了保障。

a1afe42ea2125679e221f952e8acfe3eb4b84062

我们对公有云和私云进行全面打通,让我们的基础设施能够涵盖到私有和公有。我们在阿里云上部署了12个机器人,他们每天会向系统回报做了什么。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
存储 人工智能 运维
超大规模云数据中心对存储的诉求有哪些?
要实现超大规模部署的特性,就对存储有别于普通数据中心或者消费市场的诉求。具体有哪些呢?主要有以下几点,我们针对部分信息展开讨论
|
存储 机器学习/深度学习 数据管理
混合云的最大化:混合云中的关键趋势
企业具有多个云平台,这将变得非常复杂。
119 0
|
存储 SQL 安全
混合云计算和数据存储:关键混合云趋势
混合云计算和数据存储:关键混合云趋势
214 0
混合云计算和数据存储:关键混合云趋势
|
Kubernetes SDN 网络虚拟化