打造端到端大数据解决方案

简介:

中国移动大数据平台产品研发和应用实践项目立志于研发通用的、提供端到端大数据处理能力的大数据平台,打造中国移动在Hadoop大数据产品族之上的自研大数据平台产品,提供完善的大数据能力与完整的大数据解决方案,提升现网大数据系统的平台能力,为中国移动IT系统的大数据平台建设打下坚实的基础。

“大云”大数据平台是集安全、数据采集、存储和处理、能力和应用以及运维和运营管理为一体的大数据平台产品。其核心组件包括大云Hadoop数据平台(BC-Hadoop)、“大云”大数据仓库系统(BC-HugeTable)、大云大数据运营管理平台(BC-BDOC)等。

“大云”大数据平台已先后被应用于多个单位、部门的42个项目,在生产系统中部署了超过1000台服务器。目前,依托“大云”大数据平台,应用单位的多项大数据相关业务已完成迁移,由“大云”大数据平台提供对数据采集到存储和处理等大数据场景的全面支持。

成果的创新性与优越性

“大云”大数据平台提供了完善的大数据能力,其中的子产品可分为三类:基础组件产品(如大云Hadoop数据平台BC-Hadoop)、大云大数据运营管理平台产品(BC-BDOC)和应用产品(如大云互联网采集系统)。其中,“大云”大数据运营管理平台产品BC-BDOC提供大数据运营管理、数据管理和安全管理的功能,是核心产品之一。

技术层面上,“大云”大数据运营管理平台BC-BDOC提供了基础大数据产品之上全面化的平台能力,解决了开源大数据基础组件提供的多租户能力不足的问题。

应用层面上,将包括“大云”大数据运营管理平台BC-BDOC在内的大数据平台产品运用于各个省公司的大数据平台建设,为其解决了不同部门不同应用间的资源隔离、资源统一分配、服务申请、数据共享等问题。

“大云”大数据运营管理平台BC-BDOC带来了一套大数据平台代替传统的多个小集群的模式,实现一套大数据平台部署多项应用,并做到资源合理分配,消除应用之间的影响,有效降低成本,提高集群的资源利用率。

成果的经济效益与社会效益

应用单位和部门依托提供的完善的大数据能力以及资源隔离、资源统一分配、服务申请、数据共享等功能,有效地避免了冗余大数据集群的建设,节约投资约2000万元。

中国移动“大云”大数据平台产品,是基于成熟的Hadoop大数据基础组件实现的具有完善的大数据能力与完整的大数据解决方案的平台型产品。中国移动在研发过程中提出了多项专利,对包括大云大数据运营管理平台BC-BDOC、大云大数据仓库系统BC-Hugetable、大云并行数据挖掘系统BC-PDM、大云数据交换工具BC-CrossData、大云互联网采集系统和大云互联网情报分析系统在内的多项子产品拥有完全自主知识产权。

通过自主研发,中国移动掌握了大数据运营平台建设的关键技术,为提高我国大数据自主创新能力,培育战略性新兴产业,加快转变经济发展方式提供了重要支撑。

本项目提供了从数据采集、存储和处理到能力申请和应用托管的,具有一整套大数据能力的大数据平台产品,包含的子产品从大数据基础组件到典型大数据应用,具有良好的多租户能力。

对大数据平台进行研发,一方面对大数据技术进行了更深入的技术探索,另一方面为大数据平台建设提供了稳定可靠的解决方案。本项目提高了中国移动的自主创新能力,增强了中国移动在大数据平台建设领域的技术积累。





====================================分割线================================


本文转自d1net(转载)

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
6月前
|
XML Java 大数据
Spring Batch:处理大数据和批量任务的解决方案
Spring Batch:处理大数据和批量任务的解决方案
184 0
|
7月前
|
分布式计算 资源调度 大数据
大数据数据倾斜问题与企业级解决方案
大数据数据倾斜问题与企业级解决方案
42 0
|
7月前
|
SQL 存储 分布式计算
大数据Hadoop小文件问题与企业级解决方案
大数据Hadoop小文件问题与企业级解决方案
44 0
|
7月前
|
运维 大数据 数据挖掘
SelectDB x 白鲸开源金融大数据解决方案正式发布!
飞轮科技联合白鲸开源,针对金融行业大数据实时分析的场景共同推出高效实用的解决方案。
|
9月前
|
前端开发
大数据量学习:ajax获取数据后将数组重新分组后分批定时渲染的解决方案
大数据量学习:ajax获取数据后将数组重新分组后分批定时渲染的解决方案
65 0
|
10月前
|
存储 人工智能 达摩院
带你读《云存储应用白皮书》之29:2. 物联网大数据存储解决方案
带你读《云存储应用白皮书》之29:2. 物联网大数据存储解决方案
269 1
|
SQL 运维 Oracle
【大数据开发运维解决方案】记一次同事不慎用root起动weblogic以及启动日志卡在The server started in RUNNING mode 问题解决过程
最近因为单位换了新版本HD集群,有一些业务数据存在于hive数据库中。而有一些Smartbi的报表数据源是连接的华为HD Hive,因为变更了集群,需要将SmartBi的数据源改为新集群的。我将Kerberos认证凭据和新版本Hive jdbc驱动以及新的jdbc连接串给了同事,也将实施文档给了同事,但是同事在操作完成后,Smarbi节点无法正常起来(后台日志卡在:The server started in RUNNING mode,Server state changed to RUNNING),要么起来了就是无法联通Hive。
【大数据开发运维解决方案】记一次同事不慎用root起动weblogic以及启动日志卡在The server started in RUNNING mode 问题解决过程
|
消息中间件 SQL JSON
【大数据开发运维解决方案】Kylin消费Kafka数据流式构建cube
文章开始之前先说明环境情况,这里kylin消费的kafka数据是从Oracle 数据库用Ogg For Bigdata以json格式将数据投递到kafka topic的,投递的时候,关于insert和update 之前的数据投递到名为 ZTVOUCHER_INS 的topic,而delete和update之后的数据投递到名为 ZTVOUCHER_DEL 的topic中,这里主要介绍kylin如何消费数据创建流式cube。
【大数据开发运维解决方案】Kylin消费Kafka数据流式构建cube
|
分布式计算 运维 Hadoop
【大数据开发运维解决方案】Hadoop2.7.6+Spark单机伪分布式安装
一、安装spark依赖的Scala 1.1 下载和解压缩Scala 下载地址: 点此下载 或则直接去官网挑选下载: 官网连接 在Linux服务器的opt目录下新建一个名为scala的文件夹,并将下载的压缩包上载上去: [root@hadoop opt]# cd /usr/ [root@hadoop usr]# mkdir scala [root@hadoop usr]# cd scala/ [ro...
【大数据开发运维解决方案】Hadoop2.7.6+Spark单机伪分布式安装
|
SQL 消息中间件 分布式计算
【大数据开发运维解决方案】Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.2单机伪分布式安装
1、本文档使用的基础hadoop环境是基于本人写的另一篇文章的基础上新增的spark和hudi的安装部署文档,基础环境部署文档 2、整篇文章配置相对简单,走了一些坑,没有写在文档里,为了像我一样的小白看我的文档,按着错误的路径走了,文章整体写的较为详细,按照文章整体过程来做应该不会出错,如果需要搭建基础大数据环境的,可以看上面本人写的hadoop环境部署文档,写的较为详细。 3、关于spark和hudi的介绍这里不再赘述,网上和官方文档有很多的文字介绍,本文所有安装所需的介质或官方文档均已给出可以直接下载或跳转的路径,方便各位免费下载与我文章安装的一致版本的介质。 4、下面是本实验安装完成后本
【大数据开发运维解决方案】Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.2单机伪分布式安装