本文讲的是拥抱Hadoop领跑大数据 实现价值回报,当大数据风暴来临的时候，你是否已经做好准备?2012年对于企业来讲最为企业CIO所关心的话题之一必然要属于大数据。我们看到无论是个人还是企业，随着互联网、3G技术的普及以及企业自身数据的积累，大量的数据被产生，而这些大数据最终在存储、安全以及价值转换将成为企业关注的焦点。
相关数据调查显示，到2020年，电子数据存储量将在2009年的基础上增加44倍，达到35万亿GB。根据IDC数据显示，截止到2010年，这个数字已经达到了120万PB，或1.2ZB。如果把所有这些数据都存入DVD光盘，光盘高度将等同于从地球到月球的一个来回也就是大约 480,000英里。
大数据与Hadoop之间的联系
在让我们应用大数据前，先让我们了解一下什么是大数据，百度百科对于大数据的定义是这样的：从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。明白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜力。大数据的4个“V”，或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别;第二，数据类型繁多。第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V”——Volume，Variety，Value，Velocity。
▲数据正在呈爆炸性增长
提到大数据我们可以想到很多相关的技术或者产品，其中Hadoop技术备受用户关注。据了解，Hadoop是一种用于大数据的应用程序，因为它是建立在MapReduce基础上的，所以引起了极大的关注。(MapReduce是一种用于超级计算的普通方法，之后经过了主要由Google资助的一个项目的优化，因此被简化并变得考究了。) Hadoop是几个紧密关联的Apache项目组成的混合体的主要安装启用程序，其中包括MapReduce环境中的HBase数据库。
▲大数据是指大交易数据、大交互数据和大数据处理的总称
很多人认为Hadoop和大数据基本上是一个意思，这是错误的。Teradata, MySQL和“智能聚合技术”的某些安装启用都用不到Hadoop，但它们也可以被认为是大数据。为了充分利用Hadoop和类似的先进技术，软件开发商们绞尽脑汁研发出了各种各样的技术。而对于用户来讲，则是希望借用Hadoop以及大数据，实现最大价值。
▲Informatica核心技术部资深产品管理总监 郑玮
相关行业专家表示，在IT环境中，Hadoop不可能作为一个孤岛存在。为了让Hadoop可以跨越不同平台并成为一种主流技术，用户需要将Hadoop作为他们IT大环境中的一部分来管理，通过Hadoop重复使用他们的开发技巧、资产及数据，并统筹管理全部数据。
▲Hadoop是一个具有可扩展性、容错性、源代码开放性的大数据存储和处理平台
Informatica核心技术部资深产品管理总监郑玮在接受IT168记者采访时表示，Hadoop能够带来两方面的好处：一是可以帮助企业降低数据的成本;二是提高产品的价值。当前，企业现在存在这样一种情况，拥否有大量的数据，即使是一个小企业很有可能也有大数据的问题。
▲Hadoop应用分布
支撑大数据 Informatica 9.5释放Hadoop潜能
面对大数据以及Hadoop，国内外众多的服务都宣布对于其进行支持和服务，数据集成服务商Informatica同样也对Hadoop技术进行了良好的改进，据郑玮介绍，主要体现在以下几个方面：
第一、从处理角度来看没有太大区别，我们会充分利用Hadoop的功能降低成本、提高计算功能和计算速度。
第二、数据在Hadoop上需要知道数据的形态，数据的转换和存取是怎样操作?数据发觉将产生一个问题，意味质量问题。因此必须重视数据的质量。首先，要确定数据的质量，就需要进行探索发现。
▲Hadoop带来的价值
第三、对Informatica来说是非常独特的，它能够对数据进行解析。数据的类别非常多，它的数据类型是问题有半结构和非结构性的数据，何进行分析数据呢?首先要解析，把它们变成可以工作的结构数据来准备数据。
第四、转换数据。一旦把数据进行定型进行格式化，转换数据需要做什么?任何转换都可以做比如过滤、集成、分类等，任何的转换都可以在Hadoop平台上来做这样的转换。
▲Informatica 9.5释放Hadoop潜能
第五、客户应用Informatica的Hadoop技术，现在使用Informatica技术可以把客户整个的数据放在里面。最终一步，是从从Hadoop上来读取数据。
据了解，针对于大数据的应用，Informatica9.5能够支撑HAdoop技术，而将于今年年底9.5.1版本功能将更加强大。
郑玮指出，企业用户使用Informatica9.5能够有以下好处：
第一、有可重复的过程，重复性是非常重要的。我们在合同上进行编码，问题是今后可以重复过程，这是一个好处。
第二、Hadoop技术改变非常快，如何防止陷入一种技术无法改变，这是一个问题。一个办法就是与Informatica来合作，无论它的实施是什么，Informatica都会给提供支持，保证可以充分地利用数据的价值，还有实施的选择。
▲Informatica 9.5优势
第三、成千上万的数据不仅仅是在Hadoop上面，因此我们从客户的反馈，他们希望能充分的利用大数据放在Hadoop系统上，然后可以使用源数据进行影射。
第四、数据治理方面。不仅仅是重复性，同时还可以很好地进行管理，来监督整个Hadoop的生态系统。不仅仅是Hadoop的生态系统，还有如何适应其它的环境，因此有数据仓库、数据档案。据了解，Informatica 9.5的多项进展，使得Hadoop成为企业级之选。通过交互性、生产力及可管理性，Informatica 9.5提供全新及扩展功能，释放了Hadoop的潜能，使用户能够提高大数据的投资回报。
通过数据接入拓展了其交互性，包括社交媒体数据，并且可将其通过批量或实时的方式导入Hadoop。
通过在Informatica中利用图形数据设计数据集成任务及流程，提高了生产力，并且可将设计直接部署在Hadoop中进行自主执行。
借助通用数据整合平台，提高了所有企业数据的可管理性，包括Hadoop中的数据。
▲用高性能的通用数据访问释放Hadoop性能
通过访问社交数据以扩展交互性，带来对Hadoop近乎实时的管理
鉴于社交计算继续急速增长的步伐，许多企业正在转向利用社交数据，从而更加清晰地洞悉用户及市场。Informatica 9.5 带来了扩展的社交数据集成功能，以帮助获取社交数据，并且可以以批量、数据流或者复制的方式将数据按任意延迟速度导入Hadoop中。新功能包括：
对社交数据更好的连接性：Informatica 9.5可提供对Twitter数据流的支持，以及一个数据流API支持RSS、ATOM或其它网页来源协议。
▲数据集成和数据质量 Hadoop MapReduce处理
近乎实时的数据复制至Hadoop：Informatica 9.5 提供了Informatica 快速克隆及数据复制HDFS支持功能，以大量快照及近乎实时数据复制的方式将数据导入Hadoop。
作者： 李伟
来源： IT168
原文标题：拥抱Hadoop领跑大数据 实现价值回报
