云场景实践研究第79期:熊猫直播

简介: 作为知名泛娱乐直播平台,熊猫直播数据纬度多、数据量巨大,通过借助阿里云多项服务,不断优化云上资源,最终建立起灵活配置、高扩展性、易于运维的云上架构。本文将带领大家一同了解熊猫直播大视频数据业务的云上历程。
更多云场景实践研究案例,点击这里: 【云场景实践研究合集】联合不是简单的加法,而是无限的生态,谁会是下一个独角兽
作为知名泛娱乐直播平台,熊猫直播数据纬度多、数据量巨大,通过借助阿里云多项服务,不断优化云上资源,最终建立起灵活配置、高扩展性、易于运维的云上架构。本文将带领大家一同了解熊猫直播大视频数据业务的云上历程。
未来,熊猫直播会将依托阿里云,继续深耕大视频数据业务,满足大视频时代不断演进的大数据需求。
——卢圣刚
熊猫直播大数据技术专家
为了满足大视频时代的大数据需求,熊猫直播经历了从Fluentd + ODPS、到Flume + Ambari、再到Flume + EMR的架构演进历程。

采用的阿里云产品
阿里云云服务器 ECS
阿里云 E-MapReduce
阿里云钉钉企业版

为什么使用阿里云
阿里云EMR服务具备灵活、快速、存储成本低的优势。
阿里云服务的支撑保障,使熊猫直播能够减少运维工作,更专注于业务。

关于熊猫直播
熊猫直播是由上海熊猫互娱文化有限公司创办的一家弹幕式视频直播网站。注册资本为2000万元,法定代表人为龙飞。2016年11月,熊猫直播荣登2016中国泛娱乐指数盛典“中国文娱创新企业榜 TOP30”。

熊猫直播的痛点所在
在身处大视频时代的当下,熊猫直播面对分散在MySQL、Redis、MongoDB之中的数据源头,需要实现统一的数据存储;面对不同的业务场景和高速的业务发展,需要实现灵活的横向扩展——不仅能灵活添加开源组建,还需要能快速增加计算节点。
作为高速发展的直播平台,熊猫直播数据纬度多、数据量巨大——累计已经达到PB级,仅仅每天新增的就有几十T。就离线计算的数据量看,每天几百个日常计算任务,以及大量的临时查询需求。

为什么选择阿里云?
阿里云EMR服务灵活、快速、存储成本低
阿里云EMR——Elastic MapReduce(E-MapReduce),是基于 阿里云ECS之上半托管开源大数据软件栈。EMR的弹性动态伸缩,能够帮助熊猫直播直线快捷的扩容、缩容EMR Hadoop集群,灵活、快速部署开源大数据服务(HBase、Kafka、Impala,Flink等),还具备数据存储成本低的优势。

阿里云服务能减少运维工作
运维机制对于选择EMR具有关键作用。阿里云企业服务对熊猫直播给予7*24小时 钉钉群支持,快速解决集群使用问题。阿里云服务的支撑保障,使熊猫直播能够减少运维工作,更专注于业务。

迁移上阿里云后的成效
熊猫直播借助阿里云服务,不断优化云上资源,最终建立起灵活配置、高扩展性、易于运维的云上架构。

关于熊猫直播的更多实践详情: 熊猫直播:大视频数据业务的云上历程
原文发布日期:2017-12-21
云栖社区场景研究小组成员:董普庆,仲浩。
相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
人工智能 开发者
"使用PAI实现涂鸦变大作"AIGC活动重磅来袭!
使用PAI-DSW搭建Stable Diffusion XL Turbo完成AI画画功能,轻松实现随手涂鸦变精美画作,人人都可当AI画家!诚邀AIGCer参与挑战,沉浸式体验云上绘画AIGC创新之旅。制作上传专属美画,即有机会抽取Powerbeats Pro、台式升降桌等七重奖品!
|
3月前
|
小程序
探索大模型与小程序的应用创新——产品面对面系列直播第一期
探索大模型与小程序的应用创新——产品面对面系列直播第一期
31 0
|
12月前
|
编解码 人工智能 算法
超越感官,沉浸赛场——大型体育赛事云上实战精选-第二章 NBA 总决赛:窄带高清的视觉渲染力-如临现场的视觉感染力,NBA决赛还能这样看?
超越感官,沉浸赛场——大型体育赛事云上实战精选-第二章 NBA 总决赛:窄带高清的视觉渲染力
156 0
|
12月前
|
人工智能 编解码 云计算
超越感官,沉浸赛场——大型体育赛事云上实战精选-第三章 2022北京冬奥会:百年奥运的黑科技-视频云的「百年奥运 云上故事」(下)
超越感官,沉浸赛场——大型体育赛事云上实战精选-第三章 2022北京冬奥会:百年奥运的黑科技-视频云的「百年奥运 云上故事」
130 0
|
12月前
超越感官,沉浸赛场——大型体育赛事云上实战精选-第三章 2022北京冬奥会:百年奥运的黑科技-视频云的「百年奥运 云上故事」(上)
超越感官,沉浸赛场——大型体育赛事云上实战精选-第三章 2022北京冬奥会:百年奥运的黑科技-
|
人工智能 弹性计算 自然语言处理
【1026 - 1030直播导视 | PPT 下载】阿里专家直播:EasyTransfer平台应用实践、大数据+AI meetup 2020第二季·上海场来啦!
本周为大家带来了8场技术公开课,技术学习实践两不误!开源日迎来第六期啦线上对话阿里云专家:为大家带来EasyTransfer平台应用实践;大数据+AI meetup上海专场来啦!大家快办好小板凳坐等下周技术专场吧!
7833 0
|
分布式计算 Kubernetes 安全
【0810 - 0814直播导视 | PPT 下载】阿里云智能秋招空中宣讲会持续进行中!快来看直播领内推码吧!
本周多场技术讲座等你来pick!并且还有阿里云智能秋招空中宣讲会之研发&算法专场,还等什么,快上车!
1210 0
|
监控 机器学习/深度学习 自然语言处理