漫步云端 我国掀起大数据革新浪潮

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介:

随着便捷、按需且管理成本低廉的云计算模式不断升级,全球云产业已进入高速发展期。

苹果公司通过云平台的构建实现了移动端从硬件向软件的完美转身,谷歌公司用云计算成就了最好的搜索引擎,云用户以几何级数增长,参与形式日趋多样化和深入化。

聚焦国内,我国的云数据产业近几年来也呈现出蓬勃发展的趋势,如阿里巴巴、中国电信、万国数据(GDS)等纷纷布局云数据业务。

云数据受互联网追捧

随着海量数据信息的不断涌现,例如气象信息、网络检索信息、股票信息等,这些庞大的数据信息是普通的管理方式无法承载的。

云数据管理技术的出现和发展极大地提升了数据信息管理的能力,促使数据信息得到有效的整合与分类。不仅如此,还简化了数据的调动与获取,极大地提升了数据的存储和应用能力,提高数据信息的利用率。

“互联网企业需要云数据中心的基础设备更加规模化和标准化。”易观智库大数据研究总监任伟巍向《中国产经新闻》记者表示。

记者了解到,淘宝网日均4亿次网页访问量、日均交易额达到7亿元、全年交易额达2000亿元,成为互联网巨头,其业务背后是遍布全国的8个数据中心、上万台服务器、几千台交换机、海量存储等,如此大容量的设备基于统一的IP标准协同集中工作,这是传统数据中心不能比拟的。

据了解,淘宝的各种新业务划分很细,比如秒杀、竞价等业务,仅目前的业务种类就有几百个之多。并且每天还在不断推出新的业务,而每上一个新业务,不可能新增太多的服务器等系统资源。

对此,任伟巍认为,采取在原有的资源池中增加业务,这就对虚拟化管理提出了新挑战,而云数据中心的各种虚拟化技术能够帮助解决这一问题。

另外,任伟巍介绍,在云数据中心,当业务需要迁移,设备需要统一配置,故障需要及时检查和排除,流程需要跟踪时,需要通过自动化的手段来高效管理海量的设备和应用。

以腾讯网为例,一次上架就要配置上千台交换机,在人力资源有限时,为保证在短时间内完成工作,确保配置错误能恢复到原有状态,并实时地进行跟踪和审计,这些都需要通过自动化的管理技术来实现。

伴随着经济社会的不断发展,人们对于计算机和网络的要求逐步提升,进一步推动了数据信息技术的发展与进步。“物联网”、“三网融合”、“智能电网”等应用成为了现代计算机发展的前沿产物,同时,这些应用的出现对于数据管理以及系统都提出了更高的要求。

Redis保证系统数据稳定运行

用户需要用云计算处理、分析大量分布的数据,这就要求云数据管理技术能够及时、高效地对海量数据进行管理和分析。云计算处理数据的不确定性、海量性使得有效数据管理技术开发刻不容缓。

但是,传统的关系数据库SQL在超大规模和高并发的社会性软件类型的动态网站暴露了很多难以克服的问题,如对数据库高并发的读写需求;对海量数据的该效率存储和访问的需求;对数据库的高可扩展性和高可用性需求。

在此背景之下,可以说市场需求打破了云数据技术壁垒。Redis作为一个高性能的key-value数据库,以其高效的读写速度,丰富的数据类型,缓存的安全性,在提高网络数据库的冗余、保证系统数据的稳定运行、提高信息快速采集和缩短系统响应时间具有重要意义。

据了解,为应对海量数据的读写与存储,国内一些主流云服务数据库正纷纷涉足开发Redis云服务数据库。

例如,新浪微博用户频繁发海量信息,每天以百万级、千万级的数据量增加。如果以增加服务器来解决新增数据,意味着昂贵的运营和维护费用。而采用Redis技术来存储用户关系和计数,便可以解决新增数据而无需付出昂贵代价。

阿里云自2015年7月份就已经正式开放Redis商用,并主要采用了较为稳定的Redis2.8.19版本,同时进行了内核优化和命令阉割来保证业务系统的安全性。整个系统采用了Master-Slave主从结构,支持AOF持久化,支持弹性扩容,自动切换,可视化资源管理,集群和Sharding等功能。

助力管理模式创新

然而,还需关注的是,在互联网+的浪潮以及“国家大数据战略”趋势下,传统的金融产业与制造业都在转型中面临挑战,云端数据技术在改进升级的同时,还需迎合企业自身发展特性,助力传统企业,加速落地大数据技术。

金融与制造业的一个特点是数据体量庞大,且基础设施建设比较庞杂。一方面,电力和冷却等方面的高投入无法满足新一代高密度服务器和存储设备的需要;另一方面,IT基础设施的容量增长受到场地、空间的严重制约。

对于企业而言,任伟巍认为:“如何让数据中心变得更加灵活,同时降低能耗与运营成本,已经变成了发展过程中面临的重大难题。”

阿里云数据库NoSQL产品总负责人王义成向《中国产经新闻》记者表示,根据各个行业的特性,贴合每个行业对于数据库的需求,是定制数据库功能的依据。

本文转自d1net(转载)

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
7月前
|
机器学习/深度学习 人工智能 算法
大数据与机器学习:技术的新浪潮
在21世纪的信息时代,大数据和机器学习已经成为技术发展的新浪潮,正在深刻地改变我们的生活和工作方式。本文将探讨这两种技术的基本原理、应用以及未来发展趋势。
97 1
|
5月前
|
搜索推荐 大数据 数据处理
大数据:解析信息时代的数字浪潮
大数据:解析信息时代的数字浪潮
44 0
|
机器学习/深度学习 存储 SQL
实时化浪潮下,Apache Flink 还将在大数据领域掀起怎样的变革?
Flink Forward Asia 2022 将于 11 月 26-27 日在线上举办,议程内容正式上线!
实时化浪潮下,Apache Flink 还将在大数据领域掀起怎样的变革?
|
人工智能 安全 大数据
天津市大数据管理中心公布百个大数据优秀解决方案,紫光云、浪潮云、中科曙光等企业入选
天津市大数据管理中心公布百个大数据优秀解决方案,紫光云、浪潮云、中科曙光等企业入选
天津市大数据管理中心公布百个大数据优秀解决方案,紫光云、浪潮云、中科曙光等企业入选