.本节书摘来自华章出版社《智能数据时代:企业大数据战略与实战》一书中的第1章,第1.4节,作者 TalkingData ,更多章节内容可以访问云栖社区“华章计算机”公众号查看
1.4 大数据处理的微妙之处
处理不同类型数据的方式正趋于一致,因为进行数据处理的设备和应用程序都设置了指定的XML格式,以及特殊行业所专用的XML数据标准(如保险业的ACORD标准、健康医疗产业的HL7标准)。XML技术扩展了大数据分析和集成工具可以处理的数据类型,但这些技术的转换能力仍然受到数据复杂性和数量的限制,从而使得现有的数据类型转换工具和数据转换的需求不匹配。因而开启了新类型的通用型数据类型转换工具的大门,新的转换工具能够适用于各种数据类型的转换与融合,而且不用编写代码,同时还能适用于任何应用程序或者平台架构。
大数据概念的定义和相关分析工具的开发都还处于不断改进的状态,这些应用工具、技术、程序仍在不断演变。然而,这并不意味着那些要从大数据集中寻求价值的人应该等待。大数据对商业运作来说太重要了,不能采取等待和观望的方法。
真正窍门在于发现能处理多种类型数据的最优方式,同时还能保证满足数据分析过程的目标。最好的做法就是把硬件、软件和应用程序结合在一起形成一种可管理的程序,从而在有限时间内传递数据结果。
存储也是大数据的关键要素。数据必须存储在一个易于访问且易于维护的地方。这对大多数企业和组织而言需要很高的成本,因为基于网络的数据存储如SANA和NAS等的购买和管理都很昂贵。
数据存储技术已经发展成为典型数据中心常见的元素之一,因为数据存储技术已经成熟且开始商业化。然而,现代企业不断变化的需求仍对存储技术施加压力,把BI引入大数据的分析就是一个比较好的佐证。
大数据分析程序需要超出传统存储模式的存储能力。传统的存储技术如SANS、NAS等都无法处理兆级和千兆级的非结构化数据。因此,大数据分析程序的成功运行需要一种处理大量数据的新方式,以及一种新的数据存储平台理念。