备案控制台
开发者社区 大数据 文章 正文

11月21日云栖精选夜读：如何扛住1.8亿/秒的双11数据洪峰？阿里流计算技术全揭秘

2017-11-21 3256
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 今年的双11再次刷新了记录——支付成功峰值达25.6万笔／秒、实时数据处理峰值4.72亿条/秒。 面对较去年增幅100%的数据洪峰，流计算技术可谓功不可没。今天，我们将揭开阿里流计算技术的神秘面纱。

今年的双11再次刷新了记录——支付成功峰值达25.6万笔／秒、实时数据处理峰值4.72亿条/秒。 面对较去年增幅100%的数据洪峰，流计算技术可谓功不可没。今天，我们将揭开阿里流计算技术的神秘面纱。


热点热议

如何扛住1.8亿/秒的双11数据洪峰？阿里流计算技术全揭秘

作者：技术小能手 发表于：阿里技术

基于云上分布式NoSQL的海量气象数据存储和查询方案

作者：亦征  发表于：阿里云存储服务 

决战双11之巅 阿里安全治理黑灰产之技术图谱曝光

作者：华蒙  发表于： 阿里安全

知识整理

Linux下自动化监控内存、存储空间！

作者：思梦php

JAVA【异常一】异常体系

作者：dongguo

大数据人工智能领域从菜鸟到高手晋级指南

作者：技术小能手  发表于：  大数据文摘

深入浅出了解 JavaScript 中的 this

作者：webmirror

展望云计算新时代数据库计算力的进化

作者：场景研读 

美文回顾

不止财务自由的诱惑：最顶级的AI科学家正在离开大学

作者：技术小能手  发表于： 大数据文摘

应用MaxCompute实现电力设备监测数据的批量特征分析

作者：syqq

一个夫妻淘宝店都知道这样用数据

作者：技术小能手  发表于：天下网商

8个关键词看懂2017新零售先行者的探索｜附PPT

作者：技术小能手  发表于：天下网商

《Greenplum5.0 最佳实践》 迁移数据使用Gptransfer

作者：whatcat

风控GPS定位数据价值有多大？

作者：红将军

带你了解“不拘一格去创新，别出心裁入场景”的锐捷

作者：你好啊、


往期精选回顾



文章标签：
云原生大数据计算服务 MaxCompute
JavaScript
人工智能
安全
存储
大数据
相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景，如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品，是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法，从场景到实践，体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库，助力开发者学习了解先进的技术栈，并能在实际业务中敏捷的进行大数据分析，赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景，可应用MaxCompute实现数仓搭建，快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理，需要搭建数据仓库？学它！ 没有足够人员和经验来运维大数据平台，不想自建IDC买机器，需要免运维的大数据平台？会SQL就等于会大数据？学它！ 想知道大数据用得对不对，想用更少的钱得到持续演进的数仓能力？获得极致弹性的计算资源和更好的性能，以及持续保护数据安全的生产环境？学它！ 想要获得灵活的分析能力，快速洞察数据规律特征？想要兼得数据湖的灵活性与数据仓库的成长性？学它！ 出品人：阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
yq传送门
目录
相关文章
愿天堂没有BUG（公众号同名）
|
5月前
|
消息中间件 Java 程序员
阿里巴巴高并发架构到底多牛逼？是如何抗住淘宝双11亿级并发量？
众所周知，在Java的知识体系中，并发编程是非常重要的一环，也是面试的必问题，一个好的Java程序员是必须对并发编程这块有所了解的。
愿天堂没有BUG（公众号同名）
71 0
程序员囧辉
|
缓存 监控 NoSQL
百万级QPS，支撑淘宝双11需要哪些技术
又到一年双11，相信大部分同学都曾经有这个疑问：支撑起淘宝双11这么大的流量，需要用到哪些核心技术？性能优化系列的第二篇我想跟大家探讨一下这个话题。
程序员囧辉
825 0
百万级QPS，支撑淘宝双11需要哪些技术
信阿信
|
存储 SQL Cloud Native
双11特刊 | 迎难而上，支撑350亿次在线查询的数据仓库是怎样炼成的？
阿里云数据库已连续多年稳定支撑天猫双11，历经极端流量场景淬炼。除了保障稳定顺滑的基本盘，今年大促期间数据库通过全面云原生化，大幅提升用户体验，让技术帮助业务产生更有价值的消费者体验，持续通过技术创新赋能用户，引领技术发展路径。 双11已圆满落幕，但技术的探索，仍未止步。 “阿里云数据库” 公众号特此推出《好科技的新起点——2021双11阿里云数据库技术揭秘》系列干货文章，为你讲述年度“技术大考”背后的故事，敬请关注！
信阿信
524 1
双11特刊 | 迎难而上，支撑350亿次在线查询的数据仓库是怎样炼成的？
码农工程师
|
人工智能 弹性计算 自然语言处理
双十一1682亿的背后，引人深思
双十一1682亿的背后，引人深思
码农工程师
145 0
双十一1682亿的背后，引人深思
开发者小助手_LS
|
存储 弹性计算 Cloud Native
揭秘 | 连续3年支撑双11，阿里云神龙如何扛住全球流量洪峰？
2019年云栖大会，阿里云正式发布第三代自研神龙架构，全面支持ECS虚拟机、裸金属、云原生容器等，贯穿整个IaaS计算平台，并在IOPS、PPS等方面提升5倍性能，用户能在云上获得物理机100%的计算能力。本文将为大家揭秘今年双11最具挑战的搜索广告、金融级业务核心交易数据库如何迁移至第三代神龙架构，详解神龙架构如何支撑阿里巴巴最大规模云原生实践落地，以及神龙架构如何通过宕机演练大考、备战双11的背后故事。
开发者小助手_LS
1324 0
揭秘 | 连续3年支撑双11，阿里云神龙如何扛住全球流量洪峰？
stromal
|
运维 安全 容灾
12.10直播预告｜2020双11，阿里集团数万数据库系统全面上云解密
议题内容：阿里集团数据库上云挑战；全面上云新打法，以MyBase for RDS构建超高效数据库管理体系
stromal
2175 0
12.10直播预告｜2020双11，阿里集团数万数据库系统全面上云解密
阿里云实时计算Flink
|
消息中间件 SQL 分布式计算
日均万亿条数据如何处理？爱奇艺实时计算平台这样做
本文由爱奇艺大数据服务负责人梁建煌分享，介绍爱奇艺如何基于 Apache Flink 技术打造实时计算平台，并通过业务应用案例分享帮助用户了解 Apache Flink 的技术特点及应用场景。
阿里云实时计算Flink
2039 0
日均万亿条数据如何处理？爱奇艺实时计算平台这样做
云栖号资讯小哥
|
存储 机器学习/深度学习 运维
提高 10 倍性能，揭秘淘宝、天猫背后的图片存储如何扛住双十一巨流？| 问底中国 IT 技术演进
2019天猫“双11”，零点钟声刚过去1分36秒，成交额已突破100亿元人民币，最终成交额为2684亿，又一次刷新了世界记录。 对象存储OSS作为淘宝、天猫、支付宝等核心阿里App背后的图片存储底座，又一次平稳的顶住了双11凌晨洪峰，并且提供了10倍的图片浏览性能优化，在本文中，来自阿里云资深技术专家罗庆超将为大家揭秘OSS背后的稳定性设计。
云栖号资讯小哥
3528 0
dockercore
|
Kubernetes 双11 Docker
精品问答】蚂蚁双11核心技术：万级规模 K8s
1、Kubernetes 集群管理系统的设计模式是怎样的？https://developer.aliyun.com/ask/257839 2、Kubernetes 集群管理系统的核心组件集群终态保持器怎样？https://developer.
dockercore
1534 0
Roin123
|
双11 数据库
首发 | 每秒54.4万笔！双11全球最猛交易洪峰背后的数据库硬核科技
我们扛住了！
Roin123
1583 1

热门文章

最新文章

  • 1
    Maven 中央仓库地址
  • 2
    【SSL】OV、DV和EV证书的区别
  • 3
    OLAP与OLTP介绍
  • 4
    大数据上手实战！《Elasticsearch 实战进阶营》第二季限时免费报名啦
  • 5
    tr命令
  • 6
    JavaScript理解(转载)
  • 7
    shell重定向小记
  • 8
    CentOS7 yum lamp 虚拟主机配置 lamp各组件简单影响性能的参数调整--for 一定的环境需求
  • 9
    【SICP练习】49 练习2.17
  • 10
    如何让Pl/Sql查出的某个值可编辑？
  • 1
    如何修改NFT的元数据
    36
  • 2
    【机器学习】噪声数据对贝叶斯模型有什么样的影响？
    29
  • 3
    rabbitmq插件升级-延时队列为列
    25
  • 4
    【机器学习】比较朴素贝叶斯算法与逻辑回归算法
    23
  • 5
    如何解决Linux时差问题
    21
  • 6
    rabbitmq安装erlang环境后没生效
    20
  • 7
    高性能代码如何编写？-2
    21
  • 8
    高性能代码如何编写？-1
    17
  • 9
    【机器学习】朴素贝叶斯分类器的缺点是什么？
    17
  • 10
    【机器学习】朴素贝叶斯分类器的优点是什么？
    15

    • 相关课程

    更多
  • 【新人赛】资金流入流出预测-挑战Baseline经验分享
  • 大数据分析之企业级网站流量运营分析系统开发实战（第四阶段）
  • 大数据分析之企业级网站流量运营分析系统开发实战（第二阶段）
  • 大数据知识图谱—钱大妈数据中台建设最佳实践
  • 大数据分析之企业级网站流量运营分析系统开发实战（第三阶段）
  • 云数据库优化十大典型案例

    • 相关电子书

    更多
  • 《备战双 11！蚂蚁金服万级规模 K8s 集群管理系统如何设计？》
  • 阿里巴巴双十一千万级实时监控系统技术揭秘
  • 争分夺秒：阿里实时大数据技术助战双11

    • 相关实验场景

    更多
  • 倚天大数据电商数据分析快速实践
  • 利用大模型大规模分发技术，实现AIGC在线应用秒级弹性
  • 基于 ACK Serverless 解锁你家萌宠的 AI 形象
  • 5分钟轻松打造应对流量洪峰的稳定商城交易系统
  • 多项目规范轻松落地
  • 极致弹性的PolarDB Serverless确保数据业务持续在线
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）