直击大数据业务痛点:浪潮整合优势推出云海大数据一体机

简介:

互联网的发展给人们生活品质带来极大的提升。更便捷的购物,更便捷的交通,更安全的出行,更丰富的教育资源等等。我们应该思考一下,互联网带给了我们这些便利。但是事物是两面性的,当我们在应用这些便捷生活方式的时候?谁在处理背后看不见的复杂呢?

比如我们每时每刻接受到的天气预报,某省的气象服务要检测上千气象监测站,媒体新产生的数据是几百TB,这些数据是如何存储如何分析如何利用的?比如城市警务系统对各个业务而产生的海量数据如何处理?以及今天银行业务的海量增长,银行业务的效率如何提升?这些复杂的问题怎么办呢?

传统IT架构面临:存不起 扩不了 算不出

就像上述问题,传统的存储、服务器、网络产品组合已经解决不了这些问题了。今天各种应用不仅种类繁多,而且从数据量上来说都是极大的数字。关键是数据增长,已经不是呈一个线性增长了,而是呈一个指数性的增长。现在每年产生的数据可能都比前几年加起来多。这就对企业数据中心的IT架构带来了很大的冲击。

直击大数据业务痛点:浪潮整合优势推出云海大数据一体机

浪潮大数据事业部产品经理高亚坤表示目前IT架构面临的几个问题:存不起、扩不了和算不出。

存不起:传统存储设备成本过高,用户保有数据成本高达5000美元/PB。

扩不了:传统IT技术资源不能共享,水平扩展能力不足,跟不上数据的快速增长;

算不出:海量的非结构化数据难以通过传统的技术手段进行处理,传统Scale up垂直架构模式在应对海量互联网业务数据处理时,出现了瓶颈,需要Scale out水平扩展架构进行支撑;

浪潮的大数据观下的新产品

针对传统IT架构已经不能满足大数据的需求这个瓶颈,浪潮提出了大数据观,并围绕大数据观打造了全新的产品。浪潮认为围绕大数据的解决方案和服务提供包括几个层面:第一是数据的采集;第二是数据的存储;第三是数据的计算;第四是组件能力的服务化。

直击大数据业务痛点:浪潮整合优势推出云海大数据一体机

借此浪潮推出的云海大数据一体机,是浪潮在“持续深化计算+”战略背景下,在大数据领域的又一次创新和尝试。浪潮云海大数据一体机具有融合高效、敏捷易用、企业级增强等特点,内置云海insight大数据平台组件,并可按需定制云海IOP服务模块。具体来说,云海Insight大数据处理平台主要用于对海量结构化、半结构化、非结构化数据进行采集、处理、分析、展现。云海大数据一体机涵盖云海Insight平台组件能力,是软硬一体化、开箱即用的大数据解决方案型产品;云海IOP作为一个PaaS平台实现组件化的打包交,帮助用户快速高效的进行应用创新。。

浪潮大数据一体机目前主要有两个系列:

浪潮云海大数据一体机SDA50000,预装浪潮云海Insight大数据套件的分布式数据仓库模块,以大规模并行处理(MPP)技术,实现高性能的数据库仓库应用;

浪潮云海大数据一体机SDA70000,预装浪潮云海Insight大数据套件的分布式计算引擎,以Hadoop技术,高效处理海量结构化、非结构化、半结构化数据;

后续会推出采用超融合架构的新一代浪潮云海大数据一体机,并提供更强大的大数据业务处理能力。

云海大数据一体机精心打造的四大特性

云海大数据一体机优化了20多项关键组件,同时增强了30多项企业级特性,其横向节点扩展能力可高达4000节点以上。具体的功能特性有以下四个方面:

敏捷易用:

开箱即用,易于部署,只需插电、连接网络、启动等简单几步即可开始使用,运维效率提升50%。组件化交付,一体化运维。一站完成对大数据软件、计算、网络和存储单元的运维管理,无需频繁切换控制台。

融合高效:

采用新型Scale-out分布式并行计算架构,横向扩展节点可达4000+;高效融合架构,计算向数据存储靠拢,多表组合可达13GB/分钟/节点;柜内数据交换,计算、存储和网络集中池化,资源利用率提升40%。

企业级增强:

拥有企业级RAS特性,关键部件N+N冗余,二级管理节点维生机制,平台可靠性可达99.999%;30项分布式文件系统特性优化,速度提高20%;例如小文件存储优化、数据导入自动创建二级索引等数据特性进行优化。整合20项关键组件,适配多种计算场景。提供Hbase、HDFS、Hive、Storm等关键组件,适配流式计算、离线处理、交互式分析、迭代预测、图计算等多种计算场景。

SQL兼容:

直击大数据业务痛点:浪潮整合优势推出云海大数据一体机

兼容SQL-92/99/2003、OLAP扩展,PL/SQL兼容度超过92%;提供基于MADLib的高级机器学习和数据挖掘功能;无需数据导入,即可直接访问HDFS、Hive、HBase数据。实现应用开发者不需要太多关心技术细节,而把主要精力用在顶层设计和应用的功能实现上。

综合来看,云海大数据一体机可满足非结构化、半结构化和结构化数据的数据类型,能够实现数据的采集、存储、离线分析、实时分析、交叉分析、比对碰撞、内容检索、特征提取等应用需求。

深入行业应用,用事实和案例说话

大数据应用只有深入行业,才能发挥价值。这也正是浪潮独有的优势。浪潮在中国信息化领域20多年的耕耘,成功为公安、气象、交通、卫生、教育、金融、电信、银行、金融、证券、保险、审计等各大行业提供解决方案。

高亚坤分享了浪潮云海大数据一体机在行业中的应用。在某市的公安警务云中,浪潮组合采用分布式、大数据等先进技术,帮助客户快速搭建了松耦合、高性能、弹性伸缩、安全可靠的警务云计算平台。以分布式文件系统、NoSQL数据库、MPP数据库为核心,以内存数据库为补充,实现超大规模存储、超快计算以及超强数据分析。该项目整合了2.8PB数据,实现了创新的大数据特色应用,如比对碰撞、警务千度,很好地服务于公安打、防、管、控、服等工作。由于采用整机柜服务器模式,满柜搭载32节点1U标准服务器,为客户节省75%的机房空间,整体功耗降低约66%;使用统一的可视化管理监控模块,运维管理工作降低50%以上。

在某省气象局,浪潮通过云海大数据一体机产品和专业服务,帮助该省气象局建设大数据创新实验室。利用其丰富的气象资源和专家力量,初步打造成“气象万千”示范工程,整合PB级别的气象数据,探索气象与农业、交通、旅游、健康等气象创新应用百余个。利用大数据一体机产品,将繁琐的大数据环境搭建过程在生产线完成,建设周期缩短50%,建设成本节约60%。

给客户带为价值,用成功案例说话,会让浪潮的大数据业务越走越坚实,浪潮的大数据业务未来的发展值得期待。


原文发布时间为:2016年7月1日

本文作者:任新勃 

本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
8月前
|
Prometheus 运维 监控
直击运维痛点,大数据计算引擎 EasyMR 的监控告警设计优化之路
监控告警在企业保障系统的稳定性和事故快速恢复的全周期链路中都是至关重要的一环。在新版本的 EasyMR 中袋鼠云开发团队也对监控告警功能进行了全新的优化,通过本文和大家分享监控告警功能的设计思路以及碰到各类问题痛点的解决方法。
103 0
|
1月前
|
存储 NoSQL 大数据
新型数据库技术在大数据分析中的应用与优势探究
随着大数据时代的到来,传统数据库技术已经无法满足海量数据处理的需求。本文将探讨新型数据库技术在大数据分析中的应用情况及其所带来的优势,为读者解析数据库领域的最新发展趋势。
|
7月前
|
机器学习/深度学习 人工智能 算法
大数据与机器学习:技术的新浪潮
在21世纪的信息时代,大数据和机器学习已经成为技术发展的新浪潮,正在深刻地改变我们的生活和工作方式。本文将探讨这两种技术的基本原理、应用以及未来发展趋势。
95 1
|
4月前
|
分布式计算 资源调度 大数据
【大数据技术Hadoop+Spark】Spark架构、原理、优势、生态系统等讲解(图文解释)
【大数据技术Hadoop+Spark】Spark架构、原理、优势、生态系统等讲解(图文解释)
173 0
|
4月前
|
存储 安全 大数据
【云计算与大数据技术】云交付模型、云部署模型、云计算优势与挑战、应用的讲解(超详细必看)
【云计算与大数据技术】云交付模型、云部署模型、云计算优势与挑战、应用的讲解(超详细必看)
358 0
|
5月前
|
搜索推荐 大数据 数据处理
大数据:解析信息时代的数字浪潮
大数据:解析信息时代的数字浪潮
44 0
|
6月前
|
存储 分布式计算 数据挖掘
maxcompute优势
MaxCompute作为阿里巴巴集团内部核心大数据平台,具有以下优势: 1. 存储及计算能力:MaxCompute具备万台服务器扩展能力和跨地域容灾能力,能够承担集团内部绝大多数的计算任务,支撑每日百万级作业规模,适用于100GB以上规模的存储及计算需求,最大可达EB级别,并支持多种计算模型如SQL、MapReduce、Graph等及MPI迭代类算法。 2. 高效的数据处理能力:MaxCompute可以快速处理海量数据,减轻企业数据处理负担。 3. 自动调整存储成本:MaxCompute可以根据数据的访问频率和重要性,自动调整存储成本,降低企业数据存储成本。 4. 实时数据分析:MaxCom
43 3
|
8月前
|
存储 安全 文件存储
桌面网络存储迎来新浪潮,龙蜥社区联合龙芯首发优龙桌面网络存储一体机方案
桌面网络存储迎来新浪潮,龙蜥社区联合龙芯首发优龙桌面网络存储一体机方案。
|
11月前
|
机器学习/深度学习 SQL 分布式计算
「大数据分析」寻找数据优势:Spark和Flink终极对决
「大数据分析」寻找数据优势:Spark和Flink终极对决
|
机器学习/深度学习 存储 SQL
实时化浪潮下,Apache Flink 还将在大数据领域掀起怎样的变革?
Flink Forward Asia 2022 将于 11 月 26-27 日在线上举办,议程内容正式上线!
实时化浪潮下,Apache Flink 还将在大数据领域掀起怎样的变革?