【学习】粗懂大数据的基本概念,不涉及行业和具体技术

  1. 云栖社区>
  2. 博客>
  3. 正文

【学习】粗懂大数据的基本概念,不涉及行业和具体技术

栋斌钧臣 2017-11-09 17:53:47 浏览1176
展开阅读全文

Big Data已经是被热炒的一个词汇。外行看热闹,内行开门道。对于这个“热词”,我们没必要认为它是“西洋镜”,理解我们过去对数据的运用,再延伸到当今信息爆炸的时代,应该会更容易理解。


对于任何事物(大数据),我们要抓住它的本质,沿着本质这条线寻找出解决之道。依托于所在的行业,环境,走出符合每个行业自身特点的解决方案。也许大家,觉得上述这句话很熟悉。我就是将历史观的方法,借鉴到技术上的。党报媒体常说结合马克思主义走中国特色的社会主义,我们能否可以说结合大数据拿出符合中国特色的大数据之路。大数据是纲目,要在这条思想下,不断实践,风起云涌。

没有必要神秘化大数据这个概念,只不过当今世界,人的脑力处理能力已经跟不上纷乱复杂的信息迭代更新了。我们可以看到古代打仗,两军对垒的将领肯定关注的是军队和武器的人数,这就相当于结构化数据了。但是没有办法直接获取到这样的数据怎么办?根据军队行军是扬起的灰尘,根据灶头来判断军队人数,这些应该属于非结构化的数据,要经过大脑的梳理转化为真实有效的数字。当然,还有天时和地形(非结构化数据),这些都可以归纳为对数据的理解。最后根据这些数据形成最终的战斗序列。


机器是生产工具的标志,机器产生解放生产力,改变生产关系。从机器处理数据开始,科学家们研究如何用机器来处理数据,诸如数据库、数据仓库、数据集市等信息管理领域的技术,就是要解决大规模数据的问题。数据之父的Bill Inmon认为要处理如此庞大的数据,它的基本流程如下图:

流程

数据抽取与集成

● 大数据是多样性variety,来源极其广泛,类型极为繁杂。这种复杂的数据环境给大数据的处理带来极大的挑战。

● 要想处理大数据,首先必须对所需数据源的数据进行抽取和集成,从中提取出关系和实体,经过关联和聚合之后采用统一定义的结构来存储这些数据。

● 在数据集成和提取时需要对数据进行清洗,保证数据质量及可信性。

● 现有的数据抽取与集成方式可以大致分为以下四种类型:数据整合、数据联邦、数据传播和混合方法等。


数据分析

● 传统的分析技术如数据挖掘、机器学习、统计分析等在大数据时代需要做出调整,因为这些技术在大数据时代面临着一些新的挑战:

 1、数据量大并不一定意味着数据价值(value)的增加,相反这往往意味着数据噪音的增多;

 2、大数据时代的算法需要进行调整(邦弗朗尼原理)。

 


数据解释

● 数据分析是大数据处理的核心,但是用户往往更关心结果的展示。如果分析的结果正确但是没有采用适当的解释方法,则所得到的结果很可能让用户难以理解,极端情况下甚至会误导用户。

● 大数据时代的数据分析结果往往也是海量的,同时结果之间的关联关系极其复杂,采用传统的解释方法基本不可行。

● 可以考虑从下面两个方面提升数据解释能力:

  — 引入可视化技术

  — 让用户能够在一定程度上了解和参与具体的分析过程


Big Data主要应归功于近年来互联网、云计算、移动和物联网的迅猛发展。无所不在的移动设备、RFID、无限传感器每分每秒都在产生数据,数以亿计用户的互联网服务时时刻刻在产生巨量的交互。要处理的数据量实在是太长、增长太快了,而业务需求和竞争压力对数据处理的实时性、有效性又提出了更高要求,传统的常规技术手段根本无法应付。在这种情况下,技术人员纷纷研发和采用了一批新技术。

(1)存储

存储分布式缓存、基于MPP的分布式数据库、分布式文件系统、各种NoSQL分布式存储方案,内存数据库等

(2)计算

Map Reduce、流计算、图计算……

(3)应用

HIVE,pig,mahout,Sqoop以及ETL工具,统计与报告工具等


Google于2006 年首先提出了云计算的概念,并研发了一系列云计算技术和工具。以论文的形式逐步公开。正是这些公开的论文,使得以GFS、MapReduce、Bigtable为代表的一系列大数据处理技术被广泛了解并得到应用,同时还催生出以Hadoop为代表的一系列云计算开源工具。这些工具有些是完整的处理平台,有些则是专门针对特定的大数据处理应用。

论文

现在一些主流的处理平台和工具

就实践方面来说,Hadoop 已经发展成为目前最为流行的大数据处理平台,Hadoop是一个分布式系统基础架构,由Apache基金会开发。

Hadoop是一个开源的可运行于大规模集群上的分布式并行编程框架,程序员可以轻松地编写分布式并行程序,将其运行于计算机集群上,完成海量数据的计算。

Hadoop采用了分布式存储方式,提高了读写速度,并扩大了存储容量。采用MapReduce来整合分布式文件系统上的数据,可保证分析和处理数据的高效。与此同时,Hadoop还采用存储冗余数据的方式保证了数据的安全性。——具体hadoop学习,可以查阅大数据和云计算的书,甚至还有专门讲hadoop的书籍。


Hadoop作用

Hadoop中HDFS的高容错特性,基于Java 语言开发的,这使得Hadoop可以部署在低廉的计算机集群中,同时不限于某个操作系统。Hadoop中HDFS的数据管理能力,MapReduce处理任务时的高效率,以及它的开源特性,使其在同类的分布式系统中大放异彩,并在众多行业和科研领域中被广泛采用。


Hadoop功能和优点

●可扩展:不论是存储的可扩展还是计算的可扩展都是Hadoop的设计根本。

●经济:框架可以运行在任何普通的PC上。

●可靠:分布式文件系统的备份恢复机制以及MapReduce的任务监控保证了分布式处理的可靠性。(元数据磁盘错误,心跳测试,副本数)

●高效:分布式文件系统的高效数据交互实现以及MapReduce结合Local Data处理的模式,为高效处理海量的信息作了基础准备。

Hadoop生态系统图

生态图





网友评论

登录后评论
0/500
评论
栋斌钧臣
+ 关注