Teradata技术总监:大数据已成为主流

简介:

本文讲的是Teradata技术总监:大数据已成为主流,“大数据”刚出现的时候,基本上只会用在高端科技类或者硅谷网络分析公司中;到了今天,如银行、电信、保险公司等更为传统的行业也逐渐搭上了这辆“列车”。然而,在Teradata(数据仓库公司)技术总监Stephen Brobst(宝立明)看来,这还仅仅是个开始。

  2012年,许多IT业内人士都发起了关于大数据的讨论,宝立明就是其中之一。在今年TechTarget对他的采访中,他两次提到了他眼中的大数据热潮。在以下的精选采访中,你会读到宝立明对云端数据仓库的憧憬、对内存技术流行的看法以及对移动消费智能的期待。

  问:对于大数据现象,你有什么看法?

  宝立明:大数据热潮主要关注的是大数据的容量,这却恰恰是大数据中最不重要的一方面。拿Geoffrey Moore的“crossing the chasm”采用曲线图(见下图)来说,我们现在就处在裂口(chasm)的左边,即发明者与早期采用者阶段,所有的企业都是高端科技与网络公司。不过,今年有了一点改变,更多的主流公司开始采用大数据分析;这些企业都不是技术公司,或者说得准确一点,与网络无关,比如银行、电信等等。

  问:但是像Hadoop和MapReduce这样的大数据技术,它们不仍然是硅谷网络公司一些核心软件工程师的专长领域吗?

  宝立明:在这个的过程中,Hadoop非常重要。但是,大数据不等于Hadoop;Hadoop目前只适合高端科技和非常专业的公司。其实,Moore的理论对技术专业人士和实用主义者(只为应用技术而对技术本身不感兴趣的人)同样适用。对于Teradata来讲,我们的Aster Data在大数据普及过程中起到了桥梁的作用。去年,使用Aster Data的大客户都是网络公司,像LinkedIn、BarnesandNoble.com等。今年的业务明显偏向主流企业——电信和银行;它们大部分都在美国,这点没错,但相信用不了多久就能够推广到其他地区。

  问:现在很多人都在讨论开源与传统商用关系数据库的利弊。你是怎么看这两者的关系的?

  宝立明:我们现在和Hortonworks的合作关系就是一个典型的例子。他们有很多Hadoop原创开发者,运用的都是开源技术;有趣的是,开发出来的元数据架构不仅可对原始数据进行处理,还能够使数据获取变得更加高效。

  问:你对内存分析的看法是什么?

  宝立明:太火了。可以这么说,内存价格每过18个月就会下降30%,但即便如此,存储所有数据还是花费不菲。当然还有一点,数据容量每18个月就会增长40%,所以内存依旧无法满足数据量需求。SAP正在大肆宣扬HANA可以解决所有问题,这完全是因为受到了甲骨文的影响。知道困兽之斗吧,是Oracle的产业链引发了SAP的不理智行为。SAP每年花在甲骨文身上的钱实在太多了,他们想要剥离Oracle数据库,因此而收购了Sybase,甚至在收购之前Sybase还没有通过SAP应用的认证,他们要将Sybase作为SAP唯一的数据库平台。但要知道Sybase的规模还不足以支撑,对于理性的用户来说肯定不会想简单地听从厂商的摆布。相比较而言,IBM的DB2要更好一些。

  问:但是企业数据仓库现在是不是有点过时了?Teradata的一些竞争对手肯定会这么认为。

  宝立明:这是一个仁者见仁的问题。现在已经不可能把所有数据放到同一个地方了。想想看,如果你把所有的电子邮件和.wav文件全都放到一个数据仓库里行不行?很可能不行。但是,企业内容管理与数据仓库还有区别。对于关系数据来说,集成化数据仓库与一系列小型数据集市比起来更省钱,业务价值也更高。Sybase的模型就是小型数据集市;你最后只能不停地拷贝数据,通过各种方法将它们聚集起来,成本也自然上涨。

  问:你认为云计算对数据仓库有什么影响吗?

  宝立明:公有云架构对数据仓库没有影响,因为企业的CIO不会无缘无故地把财务数据或客户数据放到云上。那样做很危险。但私有云架构确实有影响。第一,通过私有云,你可以巩固数据集市,减少利用率不足的问题。经过几次以后,架构成本也就省下来了。第二,你可以通过灵敏的方式将数据集成,实现业务价值。在集中化解决方案中,业务方面的变化总是来得很慢。不过,你可以在私有云中利用data lab的概念,对另一数据源(内外部皆可)进行集成。这个方法的关键在于,data lab与数据仓库为同一环境,所以你不需要复制集中化数据,也没有安全问题,同时授权给了用户一种非真实的网格计算方法,与云的概念类似。

  问:在企业IT中,云计算与移动化常被同时提到,认为会改变游戏规则。你是怎么看移动技术对数据仓库与BI的影响?

  宝立明:我们的主要概念是“消费者智能”(“consumer intelligence”)。我们的团队主要关注于公司员工的决策制定。消费者智能就是为那些是我们客户的消费群体提供智能服务。这样一来,移动设备必不可少。我们在英国的案例是莱斯银行,美国的是富国银行,提倡你就是自己家庭的CEO。还有一个案例是在公共事业领域。南加州爱迪生公司(美国第二大电力公司)实施了智能电表(smart metering)以后,在他们的网站Sce.com上,消费者可以分析自己能源消费的类型。移动消费者智能可谓大势所趋。

作者: 茶一峰 

来源: IT168

原文标题:Teradata技术总监:大数据已成为主流

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
27天前
|
Cloud Native 数据处理 云计算
探索云原生技术在大数据分析中的应用
随着云计算技术的不断发展,云原生架构作为一种全新的软件开发和部署模式,正逐渐引起企业的广泛关注。本文将探讨云原生技术在大数据分析领域的应用,介绍其优势与挑战,并探讨如何利用云原生技术提升大数据分析的效率和可靠性。
|
3月前
|
数据采集 传感器 人工智能
大数据关键技术之电商API接口接入数据采集发展趋势
本文从数据采集场景、数据采集系统、数据采集技术方面阐述数据采集的发展趋势。 01 数据采集场景的发展趋势 作为大数据和人工智能工程的源头,数据采集的场景伴随着应用场景的发展而变化,以下是数据采集场景的发展趋势。
|
3月前
|
数据采集 搜索推荐 大数据
大数据技术在电商平台中的应用
电商平台是当今社会最为普及的购物方式之一,而大数据技术则成为了众多企业的强有力竞争力。本文将介绍大数据技术在电商平台中的应用,包括数据采集、预测分析、用户画像等方面,并探讨其对电商平台的价值和意义。
|
3月前
|
机器学习/深度学习 数据采集 算法
大数据分析技术与方法探究
在当今信息化时代,数据量的增长速度远快于人类的处理能力。因此,如何高效地利用大数据,成为了企业和机构关注的焦点。本文将从大数据分析的技术和方法两个方面进行探究,为各行业提供更好的数据应用方向。
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
大数据分析的技术和方法:从深度学习到机器学习
大数据时代的到来,让数据分析成为了企业和组织中不可或缺的一环。如何高效地处理庞大的数据集并且从中发现潜在的价值是每个数据分析师都需要掌握的技能。本文将介绍大数据分析的技术和方法,包括深度学习、机器学习、数据挖掘等方面的应用,以及如何通过这些技术和方法来解决实际问题。
49 2
|
7天前
|
分布式计算 Hadoop 大数据
大数据技术与Python:结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性,阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce,Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop,可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop,以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
|
3月前
|
机器学习/深度学习 存储 人工智能
大数据处理与分析技术:未来的基石
在信息化时代,数据已成为企业发展和决策的基础。而随着数据量的不断增长,传统的数据处理方法已经无法满足现代企业的需求。因此,大数据处理与分析技术的出现成为了新时代的必需品。本文将介绍大数据处理与分析技术的概念,意义、应用场景以及未来发展趋势。
47 3
|
16天前
|
NoSQL 大数据 数据挖掘
现代数据库技术与大数据应用
随着信息时代的到来,数据量呈指数级增长,对数据库技术提出了前所未有的挑战。本文将介绍现代数据库技术在处理大数据应用中的重要性,并探讨了一些流行的数据库解决方案及其在实际应用中的优势。
|
21天前
|
机器学习/深度学习 人工智能 数据可视化
基于Python的数据可视化技术在大数据分析中的应用
传统的大数据分析往往注重数据处理和计算,然而数据可视化作为一种重要的技术手段,在大数据分析中扮演着至关重要的角色。本文将介绍如何利用Python语言中丰富的数据可视化工具,结合大数据分析,实现更直观、高效的数据展示与分析。
|
28天前
|
存储 NoSQL 大数据
新型数据库技术在大数据分析中的应用与优势探究
随着大数据时代的到来,传统数据库技术已经无法满足海量数据处理的需求。本文将探讨新型数据库技术在大数据分析中的应用情况及其所带来的优势,为读者解析数据库领域的最新发展趋势。