身经百战云服务,方成IT 技术大牛——云服务项目实施内幕

  1. 云栖社区>
  2. 阿里云MVP>
  3. 博客>
  4. 正文

身经百战云服务,方成IT 技术大牛——云服务项目实施内幕

社区助手 2019-07-15 18:37:32 浏览3391

作者:阿里云MVP 李俊涛

从2014到2019云计算行业一路蹒跚探索,云上实践者累计越来越多的经验,企业对云的态度也从最初的观望、尝试,发展为非云不可。近年国家政府关于鼓励云计算发展的策略都在密集的出台。从十三五国家信息化规划到工信部出台了云计算的3年规划。甚至2018年,工信部又印发了《推动企业上云实施指南》,明确提出了到2020年,要力争实现企业上云环境的进一步优化,上云比例和应用的深度要显著提升,而且要新增上云企业100万家。这说明对于企业而言,云化它不仅是自身战略发展的需要,也是和国家战略发展相一致的。云计算已经是势不可挡的趋势。

技术发展进步,需求变化万千。随着企业“云”使用的程度的加深,云企业用户的需求也发生了深刻的变化。2014年,企业还在思考是否要上云、如何让业务用上云,但是到2016年,企业已经洞悉云化趋势,开始深度挖掘如何用好云,让云计算融入业务。现如今,企业正在探索如何延伸云,为业务提供更大的价值。

面对互联网飞速发展,企业更加勇于尝试、创新,结合自身丰富的云上项目经验,我们将通过杭州政务云、老庙黄金、快鱼服饰等企业项目的云上实践经历,以展现云计算发展给企业带来的变革。

杭州政务云---实现专有云升级过程中的应用业务迁移

传统政务向“互联网+政务”的转型,已成为不可逆转的时代趋势。“杭州政务云”管理平台就是一个标志性项目。杭州政务云平台是杭州市政府为推进政府数据资源整合、共享、开放和利用,推动大数据产业发展,搭建的云计算基础设施。华通云作为全国率先提供政务专有云的服务商,为杭州市政府唯一的数据中心提供托管服务,是阿里云重要的合作伙伴。由于阿里专有云大版本的升级,华通云需要对专有云完成无缝的v2到v3的业务迁移。

作为国内专有云首次无缝升级,阿里云自身也存在一些技术盲点,驻云技术团队通过对阿里云系列产品底层技术的了解和不断的技术实践和摸索,最终给出了专有云大版本无缝升级的解决方案。在该项目中所面临的挑战主要有:
·华通需要把专有云平台上的ECS,RDS,ODPS,ADS迁移到公有云,同时需要保持VPC中ECS,SLB的私网IP地址不发生变化
·公有云上的VPC与专有云在一个大段中,但是细分之后不在相同网段,SLB的私网IP无法修改,导致无法保证升级后 IP不变
·专有云的RDS数据需要迁移至公有云,其中底层不通,无法进行数据传输

解决方案及架构:

image.png

· 准备时期,提前规划公有云上VPC与专有云的一个大段中,防止有专线的情况下,两者无法指定路由。实现两边网段相同且数据通过公网传输

· 针对SLB的私网IP无法修改,驻云根据专有云ECS和SLB的IP地址的分布情况,尽可能把公有云的IP的子网掩码设置的大些,用于批量创建SLB到时候能够更快的匹配地址。

· 针对ECS中的数据,将ECS系统盘镜像通过公网控制台上传至公有云,对于数据盘采用数据拷贝或者整体用V2V的传输方式,从而保证了数据的一致性。

· 针对RDS和ODPS中的数据先通过高速通道传输给ECS,经过ECS做数据中转(保证专有云的ECS可以访问专有云的RDS并加入白名单)最后再在分别使用阿里云工具DTS和DataX实现数据的迁移。

面对国家政策的不断出台以及政务互联网化转型的必然趋势,杭州政务云走在了前端。而随着阿里巴巴于 2016 年底 正式提出新零售概念,云计算所特有的灵活性、易扩展性、弹性、快速部署、高并发、高可用等属性,便仿佛天生是为新零售创建的生长环境,为其创造了无限可能。

老庙黄金——高并发抢红包背后的技术力量

新零售行业从来不缺少大胆尝试、勇于创新的开拓者。2016年,支付宝与央视春晚强强联合推出“咻一咻”抢红包活动,以云计算为技术后盾开启全新春晚时代,为传统佳节注入科技的血液,创造了全球华人的狂欢。自2016年开启春晚抢红包时代,历经三年,从阿里云到腾讯云再到百度云,没有一个云厂商不是高度戒备如临大敌。无论作为云厂商还是云服务提供商,所面临的挑战都异常艰巨。面对全球十几亿华人所带来的高并发,对服务器是暴风骤雨的洗礼,对技术人员也是一场生死时速的考验。

老庙黄金作为春晚抢红包项目的首批“试金石”, 为参加支付宝组织的春晚“咻一咻”抢红包活动,老庙黄金必须解决以下几点挑战:

· 高并发:预计春晚活动每秒并发为10万左右,因为访问量的不可预知性,可能会出现雪崩效应

· 数据:活动结束后需要统计整个系统的访问情况和用户行为数据,数据库、日志、缓存等常用手段在高并发的情况下,日志性能受影响程度非常大

· 安全:抢购类系统是恶意攻击的重灾区,渗透和DDos攻击会对系统和营销活动造成不可逆的影响

· 成本:按照传统方式软硬件投入至少100万
解决方案及架构:

image.png

•架构与成本:采用典型的三层架构,接入层—负载均衡SLB,应用层—虚拟机ECS,数据层-数据库RDS。阿里云产品基本都自带有高可用属性,这使得我们构建系统架构时节省了大量的成本和精力。

•面对高并发的雪崩效应,设置了限流,当系统访问流量压力超出系统所能承受时,给用户返回排队页面或者让客户稍后重试,减轻后台系统的压力,同事错开并发高峰。

•为了提升系统的安全性,采用阿里云高防IP来应对DDoS、CC攻击

•针对庞大的后台数据统计,我们在日志纪录上选择了阿里云日志服务SLS ,首先确保了几十台机器的并发日志写入性能,其次,日志统一管理查询,非常方便用户后续问题排查和分析(SLS的数据可以直接转移到 MaxCompute,因此后端用MaxCompute进行数据分析时,只需要把数据丢进去计算即可)

老庙黄金通过引入弹性化的高可用解决方案,以1/10 的成本在2周内实现了数十万并发的电商红包系统,这不仅是一次抢红包项目的实战经验,也为应对未来的电商高并发项目实战打下了坚实的实战基础。

零售行业的市场和业务需求的变化是越来越迅速的。业务部门对于IT系统的支持提出了各种的要求,要求能够快速响应,能够快速适应业务需求的变化,能够起到大并发,支持高并发、及时响应等。这也就意味着零售企业的传统应用架构体系也发生了变化,最显著的一个特点就是对云原生技术的应用。2016年借助云计算优势属性的新零售企业初尝甜头,同时也有更多的行业企业开始在云上寻求业务革新的更多可能性。

快鱼——发布更新提速50倍,DevOops助力速度的“飞跃”

快鱼服饰作为早期即上云的传统企业,更希望能都在技术的支撑下,率先一步完成对同行的超越,抢占市场先机。但是前期并不顺利。虽然使用了阿里云高可用分布式解决方案EDAS,但是由于对阿里云系列产品使用的不熟悉以及上线前未做全面的需求调研和规划,使得一次产品的发布需要8~10小时,如若发布失败,数据回滚还需要2小时,导致了IT生产效率不高的情况。在快鱼这一项目中,我们面临了如下挑战:

· IT团队以研发为主,缺少专业监控运维体系
· 应用系统缺少高可用体系,无法满足业务侧快速迭代发布,且不停机的需求。
· 开发,测试,运维体系缺少互联网技术栈赋能实践,无法进入敏捷模式,配合效率低下

解决方案及架构

image.png

整个项目实施按照重点的不同划分成了四个阶段:

· 第一阶段---IT服务体系建设:建立了完善的IT服务体系,包括:监控预警、数据库管理、网络管理、安全管理、日常运维、应急预案6大服务体系。

· 第二阶段---系统高可用改造:在EDAS中单个服务部署两套以实现双机高可用,增加了系统可靠性,加快了需求上线时间,减少了发布更新过程中业务停机的时间。

· 第三阶段---蓝绿发布改造:大大的缩短了由于发布导致的业务停机时间,而且做了发布失败后能进行分钟级别的回滚操作。

· 第四阶段---DevOps体系搭建:综合企业IT资源情况,结合云上资源和线下机房资源形成一整套的服务平台,方便资源调度。基于敏捷开发规范化了项目、人员、权限的管理,提升了整体业务需求更新迭代的速度。

为了提升信息系统的开发,测试和发布效率,我们为快鱼引入DevOps解决方案,提升了部门整体的运营效率。从构建IT运维体系到完成EDAS应用高可用改造,不仅提高了发布效率,而且通过构建包含CI/CD的 DevOps体系让快鱼的 IT 系统鱼跃龙门,脱胎换骨,驶进云上新零售快车道。

RightScale 在近期发布的《2019年云状态报告》指出,在整个调研的企业对象中,94%的企业是选用了云计算。零售行业率先借助云计算的力量实现行业变革,开启新零售时代,在科技的助推下一骑绝尘。物流、制造、金融和医疗等行业也在不断探索,尝试寻找通过云计算来实现自己自身的数字化转型的契机。

image.png

以企业CIO和从企业IT决策人视角来看 ,未来的企业 IT 必将构建基于云的管理体系,构建团队应用云的能力体系,以及快速获取基于云的全新技术栈。通过云上资产API统一接入实现信息汇聚,掌控资产动态。将云平台事件与PaaS、Saas事件相融合,实现综合分析处理。针对团队及技术人员的统一协作管理,规范化角色权限和操作流程。构建基于云的知识体系,提升技术人员的专业实力及综合竞争力,创造技术前瞻性引领创新思维。企业具备全面囊括监控、网络、数据库、大数据、DevOps、微服务、容器等完整技术栈能力将在IT上体现更大竞争优势。

应“云”而生将成为越来越多企业的常态,面对高速前进的云上技术,企业无论通过自身技术能力提升,还是通过选择像驻云一样的合作伙伴,都应把握云计算所带来的最佳实践契机,通过用上云、用好云、延伸云让技术助力企业实现更大的业务价值。


更多云计算、大数据、实战架构等优质、热门内容,微信搜索“拜托了王教授”公众号添加关注获取~
更有优质技术交流社群、技术大牛一对一接触机会等众多福利等你来撩~