双活架构师带来的预告

简介:
640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1 640?wx_fmt=png&wxfrom=5&wx_lazy=1

访谈实录

640?wx_fmt=png&wxfrom=5&wx_lazy=1

冯总,能给大家介绍一下你们公司的业务吗?

聚美优品是一家以垂直电商起家,在美国纽交所上市,主要经营的品类是化妆品,售卖模式有自营,海淘,第三方商家入驻。聚美的客户群主要以爱美的女性客户为主。近年来公司也在尝试很多其他的方向,比如直播,影视,时尚,游戏等。


请和大家介绍下你和目前所从事的工作 ?

我现在主要负责聚美优品的数据平台组,数据平台组包含dba团队和大数据团队,数据平台组属于基础架构部。简而言之数据平台组提供了所有数据相关的存储与计算能力。


你觉得架构师应该具备哪些素质?

不同类型的架构师所需要的技术栈和素质有所差异,在不同的公司相同的title具有的职能也是不一样的。


但是不同类型的架构师也有一些相同的素质,比如具有全面扎实的技术功底,正确的价值观,纵观全局的眼界,熟悉公司业务等。


冯总,你是严谨计划性的风格,还是随心所欲的风格,或者其它风格?你有给自己设定职业规划吗?

没有目标的都不叫工作,没有量化的都不叫目标。我想如果一个人想在某方面做出一些成就,肯定是需要有计划的,特别是作为一个团队的管理者,将公司的发展规划与自己团队的工作计划相结合,让团队成员有清晰的目标。当然计划赶不上变化,计划也不是一成不变,要与时俱进,不断的修正和调整。


请问冯总,能不能介绍一下作为聚美优品高级数据架构师你现在每周大致的时间分配?

聚美的工作量还是比较饱和的,我们团队一共有20来个人。如何很好的分解公司的需求,协同好团队内部的工作安排,协调好相关的外部资源,开会讨论各种项目的技术方案,实施计划及风险评估,思考团队下个阶段的发展计划,做好团队文化建设,比如如何提高员工的积极性,技术水平,团队凝聚力。


请问冯总,贵公司的发布周期一般是多久?你如何评估你们团队的研发效率?

我们公司的系统还是比较庞大,没有固定的发版周期,现在的发布系统都做的比较完善,对版本发布并没有太多强制的限制,版本发布主要还是视PM的需求开发周期而定。


请问冯总,你作为聚美优品的高级数据架构师,目前采用了什么数据库技术来实现数据中心,如何实现数据中心的高可用性?如何实现双机热备,亦或是双活?具体的挑战又在哪里?

其实这个问题比较大,我分开来回答。

首先说OLTP业务,聚美优品现在的核心业务是电子商务,所以在线业务选用的是主流的MySQL数据库作为我们的核心数据存储,当然也有redis, memcache, mongodb等数据库。


然后是OLAP业务,聚美优品现在主要提供了以hadoop生态为主的大数据存储和计算平台。包含hdfs, yarn, hive, spark, elasticsearch, kudu, impala, kafka, kylin, hbase等,还有一些自研的组件。


关于如何实现双活是一个比较大的话题,这个我会在分享的时候具体阐述。要说难点的话,主要还是如何突破CAP的限制,一致性,高可用,分区容忍。


冯总,你觉得数据架构师和数据分析师角色是否可以转换?或者说两者所关注的领域是不同的,但是又是需要相互合作的呢?

确实可以理解为两个不同的方向,但是可以说是同一个大的领域。数据架构师更加关注的数据存储和计算的技术。而数据分析师更加关注的是数据的价值和意义。可以这么理解,“淘金”大家应该知道。数据架构师提供的是淘金的工具,数据分析师使用数据架构师提供的工具把沙子中的金子找出来。


冯总,系统在实际运行环境中,有没有碰到比较棘手的数据中心性能问题?倘若有,你又是如何解决的?能否分享下你的经验?

其实明显的性能问题都不是问题,难的是一些偶尔发生,并且很难分析出原因的问题。这种问题就像一个地雷,很容易在大促或者不经意间造成事故。针对这种问题,一定要规范我们的基础架构和系统架构,建设各种监控系统。以便减少奇怪问题发生的几率和出现以后能够提供更多的分析排查数据,聚美现在也处于大力完善监控系统的阶段。


请问冯总,对于聚美优品的业务而言,你觉得数据中心架构是如何面向业务进行设计的?是预期到应有的业务而进行设计还是在实践中得出的经验而进行改进?能否分享下相应的经验呢?

其实两者是相辅相成的。首先架构不是空中楼阁,需要接地气,需要服务于业务,解决业务当前和可预见的未来的问题,这里接地气就要充分理解自身业务的特点,结合以前的经验以及其他公司发展中遇见过的问题,尽量规避。


冯总,请剧透一下你将在中生代技术年度大会分享的题目[聚美双活架构实践]?

我的演讲方格是比较务实的。我会讲述聚美双活产生的背景,然后以理论为骨架,画出一个“完美的双活架构”,然后在结合真实的业务场景,逐一的去挖掘这个“完美的双活架构”所存在的问题,针对这些问题逐一提出解决方案,这样大家就能够明确的知道双活架构的目标,所面临的挑战以及解决的思路。


来源:中生代技术

原文链接


相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
4月前
|
存储 容灾 NoSQL
同城双活的必修课 - 落地经验与关键挑战解析
同城双活作为一种容灾架构,通过在同一城市建立两个数据中心,以确保在一个数据中心发生故障时,系统能够快速切换到另一个数据中心,从而提高系统的可用性
321 1
同城双活的必修课 - 落地经验与关键挑战解析
|
4月前
|
缓存 负载均衡 架构师
阿里资深架构师钟华曰:中台战略思想与架构实战;含内部实施手册
最近在读一本书,叫做《企业IT架构转型之道:阿里巴巴中台战略思想与架构实战》,在写此文时本书还没有看完,因为担心如果把书全部看完后再来写这篇文章,很多精彩的内容可能已经忘记了,所以中途先写一篇来分享给大家。
|
9月前
|
缓存 负载均衡 架构师
京东首席系统架构师教你如何搭建高可用高并发系统架构
今年的618年中购物狂欢节已经过去快一个月了,那么各大电商平台的网站架构师、开发人员是如何经过“618”、“双11”的亿级大考的呢?建亿级流量网站的高并发、高可用的一系列复杂问题是怎么实现的呢?
|
10月前
|
缓存 监控 网络协议
架构师之路三-系统可用性
架构师之路三-系统可用性
541 0
|
11月前
|
存储 JSON 运维
2017年终奉献:微服务最佳实践
2017年终奉献:微服务最佳实践
|
运维
《2021云上架构与运维峰会演讲合集》电子版地址
《2021云上架构与运维峰会演讲合集》通过阿里云技术大咖分享云时代架构与研发运维趋势,任意门、大搜车、饿了么等优秀企业分享云上架构演进与运维最佳实践和圆桌论坛,资深技术从业人员共探行业发展前景等方面进行分析和探讨,将 2021 云上架构与运维峰会中的技术干货沉淀下来,以飨读者。
67 0
《2021云上架构与运维峰会演讲合集》电子版地址
|
运维
《云上架构设计和轻运维实战经验》电子版地址
云上架构设计和轻运维实战经验
55 0
《云上架构设计和轻运维实战经验》电子版地址
|
运维
《2021云上架构与运维峰会演讲合集》电子版
《2021云上架构与运维峰会演讲合集》通过阿里云技术大咖分享云时代架构与研发运维趋势,任意门、大搜车、饿了么等优秀企业分享云上架构演进与运维最佳实践和圆桌论坛,资深技术从业人员共探行业发展前景等方面进行分析和探讨,将 2021 云上架构与运维峰会中的技术干货沉淀下来,以飨读者。
62 0
《2021云上架构与运维峰会演讲合集》电子版
|
运维
《2021云上架构与运维峰会演讲合集》下载
《2021云上架构与运维峰会演讲合集》通过阿里云技术大咖分享云时代架构与研发运维趋势,任意门、大搜车、饿了么等优秀企业分享云上架构演进与运维最佳实践和圆桌论坛,资深技术从业人员共探行业发展前景等方面进行分析和探讨,将 2021 云上架构与运维峰会中的技术干货沉淀下来,以飨读者。
72 0
《2021云上架构与运维峰会演讲合集》下载
|
弹性计算 运维 Cloud Native
2021云上架构与运维峰会演讲合集
以云为核心的数字技术创新体系成为了数字经济发展的底座,云与网络、终端深度融合,正在形成新型计算体系结构,向下带动芯片、服务器、数据中心等硬件体系发展,向上通过云原生革新传统IT软件发展路径,催生低代码、DevOps、智能运维等新的开发和运维方式,让云更加易用,并构建了繁荣的应用生态。
2021云上架构与运维峰会演讲合集