1. 聚能聊>
  2. 话题详情

聊聊双11背后的黑科技(12月14日直播)

技术成就辉煌,2017双11毫无悬念地再次刷新了全球记录——11秒交易额破亿,28秒破10亿,最终的交易额稳稳定格在了1682亿,不仅创造了极高的交易峰值和支付峰值,同时刷爆纪录的还有4200万次/秒的数据库处理峰值。在双11背后,还隐藏着众多黑科技!

12月13日-14日,云栖社区联合阿里巴巴技术协会,共同举办《2017阿里双11技术十二讲》在线直播峰会,独家分享双11背后技术最佳实践!

本次活动可以说是大咖云集,放出部分大咖头像:

dav_

在14日,我们为大家呈现如下精彩演讲(议题详情,参见博文):

  • 阿里智能运维平台如何助力研发应对双11挑战,如柏 / 阿里巴巴高级技术专家
  • 未来已来:阿里新一代数据库技术在双11中的应用,张瑞 / 阿里巴巴研究员
  • 双11万亿流量下的分布式缓存Tair技术揭秘,宗岱 / 阿里巴巴资深技术专家
  • 2017双11交易系统TMF2.0技术揭秘,毗卢 / 阿里巴巴资深技术专家
  • 争分夺秒:阿里实时大数据技术助战双11,大沙 / 阿里巴巴高级技术专家
  • 网络虚拟化技术为双11提供灵动网络,江鹤 / 阿里云资深技术专家

14日的演讲议题继续为大家分享技术干货,主要涉及智能运维、阿里新一代数据库、分布式缓存技术、交易系统TMF、阿里实时大数据、网络虚拟化等技术,看过这些内容后,你有什么要问分享嘉宾的吗?

欢迎按下面格式留言讨论,我们会邀请专家来为大家解答,比如:

给 大沙 提问:Blink与Flink相比,有哪些改进?

小伙伴们走起来,与大佬一起交流!

参与话题

奖品区域 活动规则 已 结束

23个回答

1

北方的郎 复制链接去分享

呵呵,感觉机会难得啊。
给 如柏 提问:您觉得AIOPS是未来发展的趋势么? 阿里现在以及未来准备如何在维护中应用人工智能?
给 张瑞 提问 :前一段时间看了“阿里云新一代关系型数据库 PolarDB 剖析”这篇文章,特别想知道里面提到Parallel-Raft协议是个什么协议,是阿里自己开发的么?文章里面的“而PolarDB实现的Parallel-Raft允许并行的提交,打破了Raft的log是连续的假设,提高并发度,通过额外的限制来确保一致性。”这个是怎么做的,能详细说一下么? 我理解Raft协议之所以能简化PAXOS就是因为假设LOG是连续的。Parrallel-Raft是通过加了那些限制在LOG不连续的时候保持一致性的,方便介绍一下么?
给 宗岱 提问:Tair和Reddis对比有什么优势和劣势?
给 毗卢 提问:在淘宝这样经过充分优化的平台上,一个标准的虚机(比如说4C8G或者您现在用的规格)大概能承载多少TPS以及网络访问量?
给 大沙 提问:Flink SQL 在Maxcompute上也是跑的 Map-Reduce-Merge 么? 现在Flink比Spark有那些优势?

大沙 回复
「 @北方的狼:给 大沙 提问:Flink SQL 在Maxcompute上也是跑的 Map-Reduce-Merge 么? 现在Flink比Spark有那些优势? 」

Flink SQL其实是我们的StreamCompute产品,maxcompute主要是ODPS的批计算。Flink SQL的底层不是MRM,是基于chandy-lamport算法开发的计算引擎,是完全实时的设计框架,具体实现细节你可以看apche flink的官方文档。
Flink和Spark最大的区别还是实时性,本质就是计算节点是提前schedule好的,等数据来计算还是没一批数据来了再schedule。另外,flink做了很多基于状态的管理,有了状态,flink本身就可以作为一个数仓让用户直接来访问结果(这个也正在设计中)。spark-streaming还是基于RDD设计的,会有很多scheduling的overhead,达不到实时的效果。spark structured streaming做了很多优化,但是支持的语法非常有限。阿里内部开发的flink SQL正在通过跑通TPC-H来证明,flink SQL就是完备的ANSI SQL,而其他的stream SQL不是。敬请期待。

北方的郎 回复
回复@大沙:

明白了,这么详细的说明,感谢。

宗岱 回复

Tair有多种存储引擎(mdb,rdb,ldb),其中rdb引擎和Redis能力是对等的。所以,Tair整个产品族不仅仅包含Cache,内存存储,还包含持久化的NoSQL存储。
另外Tair相对于Redis,更突出的地方是便捷的用户使用,天然的分布式,无缝透明的容灾切换,热点访问的智能处理,高效的存储引擎。举一个简单例子,用户通过一个Tair实例标识访问Tair,之后Tair集群的动态伸缩,宕机切换,乃至机房间,地域间访问切换,用户都是透明的。

北方的郎 回复
回复@宗岱:

收到,谢谢,学习了。

pilu 回复

在淘宝这样经过充分优化的平台上,一个标准的虚机(比如说4C8G或者您现在用的规格)大概能承载多少TPS以及网络访问量?

在互联网电商高度分布式的环境下,完成一次交易会涉及到大量的周边应用、微服务的调用。单纯评估一台机器的TPS,不能很好的反映实际对客户的体验。 比如,有的微服务的数据就是直接从缓存中返回,他的一次接口响应的TPS指标可以做得非常好看,但这不能反映出客户的一次商品购买下单体验是否好。

从客户体验而言,最直接的就是 交易下单 的成功率以及每秒生成的交易订单数。所以,交易平台更多的会从全链路的视角去看整个上下游链路的调用依赖、强弱依赖、上下游CPU/内存/LOAD等水位线的监控,最终从整体上还是看 每秒的交易订单创建 、订单创建成功率 关键指标来看对客户下单体验是否有提升。

北方的郎 回复
回复@pilu:

收到,了解了,感谢。

评论
1

cbkkk 复制链接去分享

如果有奖励,小编送个优惠券吧,最近要买个服务器测试

给 大沙 提问:您好,我这边有项业务是计算网点与用户的距离,现在有redis,mongodb两种方案,redis是通过计算geohash进行查找实现,monogdb可以直接内置实现感觉更简单方便,您觉得哪种方案好,或者还有其他更好的方案,谢谢您的回答

0

主机巴巴 2000元代金券 复制链接去分享

0

一点桀 复制链接去分享

阿里云。服务器真强大!!

0

1117813446703356 复制链接去分享

😄

0

1567613443958374 复制链接去分享

点赞👍

0

夜大王 复制链接去分享

给 张瑞 提问:感谢分享。请问在您提到的 smartDBA 会不会考虑当下流行的 Machine Learning 技术?

0

dr张文伟 复制链接去分享

阿里的成功,离不开那些背后付出人们,为他们加油↖(^ω^)↗

0

秋裤大叔110 复制链接去分享

一起围观黑科技的背后

0

嘉伟2018 复制链接去分享

阿里的负载均衡做得真好!

0

财大天才 复制链接去分享

我爱阿里云

0

蓦然清风 复制链接去分享

为阿里巴巴点赞!

0

我的人是 复制链接去分享

怎么情况

0

跳跳糖06 复制链接去分享

黑科技给人带来的便捷

0

1263698047539278 复制链接去分享

别人追逐风口,阿里创造风口

0

墨殇曦 复制链接去分享

机会难得

0

takeehu 复制链接去分享

阿里的成功,离不开那些背后付出人们,为他们加油↖(^ω^)↗

0

seocnm 复制链接去分享

阿里的成功,离不开那些背后付出人们,为他们加油↖(^ω^)↗

0

javadill 复制链接去分享

大数据的骄傲

0

sinb520 复制链接去分享

给 张瑞 提问:OceanBase关系数据库相比MySQL数据库和NoSQL数据库有哪些优势?特点是什么?如何满足双十一这种罕见规模的业务需求?
给 宗岱 提问:阿里巴巴自研的离线和实时计算平台相比传统的Apache Hadoop框架有哪些技术改进?如何做到提高用户的交易体验?

2