大数据大有来头——加州大学研讨会

简介: 大数据大有来头有——记加州大学(UC SanDiego)研讨会:专家如何理解大数据的增速 作者:约翰弗里曼 大数据文摘 翻译:甄艾庄校对:孙强(转载请保留) 我们的生活正在被一个称作“大数据”的概念迅速而剧烈地改变着,事实上就连专家也对这种现象难以定性,甚至摸不着头脑。

0.jpg

大数据大有来头有——记加州大学(UC SanDiego)研讨会:专家如何理解大数据的增速

作者:约翰弗里曼

大数据文摘 翻译:甄艾庄校对:孙强(转载请保留)

我们的生活正在被一个称作“大数据”的概念迅速而剧烈地改变着,事实上就连专家也对这种现象难以定性,甚至摸不着头脑。

大数据,从定义上讲是将巨大量计算机化了的数据搜集、储存、分析的过程,包括未结构化(unstructured)的和多维结构化(multi-structured)两种,正在以超过人们想象的速度增长着。

“经历这种增长速度好比是你的大半人生都在乘坐指数化增速的自动升降梯上,”加利福尼亚通信和信息技术研究院(CaliforniaTelecommunications and Information Technology, Calit2)主任LarrySmarr,在该学院2014年3月12日举行的题为“大数据:专家对话”的讨论会上说,“大数据正在不断地增长”。

在讨论会中不绝于耳的是艾字节(exabyte)和拍字节(petabyte)---计算机术语中对数不尽的亿万字节数字化信息的量化单位,每一个发言嘉宾都对大数据在科学探究和日常生活的影响赞叹不已。

LarrySmarr引用了一个经典的来自Google对智能手机的调查的例子,现在智能手机在我们生活中已经无孔不入,其数量甚至比阿波罗宇航船的太空任务都要多,“这个领域变革的速度之快,简直令人震惊。”

再说个例子,LarrySmarr提出:“大家都知道‘愤怒的小鸟’这款app吧?这款手机软件拥有一千万的下载量。还有Facebook上按‘赞’的小按钮,每天全球产生5千万个‘赞’......我们正面临一个大数据超出研究人员能够触及的范围,并且还在爆炸性增长的全新的世界。”

那究竟该如何来理解这类增长?试想在国际象棋棋盘上放上一粒米,LarrySmarr说,然后以指数级数平方的速度来复制它。

“当这个过程增长到第64个平方时,累计起来的大米已经可以堆得跟喜马拉雅山一样高了,”他说道,“这已经是地球上所有大米产量的1000倍了。”

LarrySmarr补充道:“人类的历史上[尤其是计算机历史上]从未有过如此一个持续指数增长率的时代。我们现在谈论的是一个人文学还从未触及的全新领域。”

在上述令人思绪飞扬的序言过后,在加州大学圣地亚哥Qualcomm中心的Atkinson礼堂举行了这场长达90分钟的以畅想未来为主题的讨论会。同时,研讨会被全程录像,将有可能在将来播放。

会议另一个发言人,加州大学圣地亚哥分校超级计算机中心主任MichaelNorman博士,热情昂扬地介绍了该中心两年前启用的巨型超级计算机,绰号“戈登(Gordon)”。

Gordon被评为世界上最快的大容量超级计算机,它是活生生的大数据知识库,拥有能够转存和分析大规模数据的能力。

Norman博士还开玩笑道“我们原来打算给这台计算机取名‘闪电侠戈登’,但是我们不想被

超人漫画起诉(因为我们的计算机和闪电侠巴里·艾伦重名)。”

事实上,这台计算机因为其巨大量的闪存而得名。戈登在很多领域诸如气象学、金融(特别是华尔街),食品生产、大工业、物理学、生物学和政府的应用都会发挥巨大作用,这个应用领域的名单还可能更长。

Norman博士列出了“大数据”的三大主要分类评估标准:1)体积,特指数据的数量;2)速率,指信息产生的速度;3)多样化,指已产生数据的种类。

总部在圣地亚哥的主要经营大数据的公司Zementis的创始者兼首席执行官MichaelZeller,

指出了第四个评估标准,价值。

Zementis公司对大数据提出这样的质疑:“大数据可能是个炒作吗?当然有可能,但是大数据同时淡化了各个领域的边界,我们现在还仅仅在大数据真正价值的表面探索着它的商业潜能。关于炒作的担忧是对大数据经营领域的警示,如何排除干扰是个大课题。”

另一个会议发言人,加州大学圣地亚哥分校计算机和工程学教授StefanSavage, 谈及了伴随大数据而产生的安全隐患,另一个无情的威胁,我们不仅要防范捣乱的人,同时还有罪犯。

“我们在建造一个巨大的框架来储存大数据,”Savage教授说,“这种集中化的特性同时会带来风险。”他提及了早前发生的塔基特(Target)百货集团大规模客户数据泄露及更为恼人的国家安全委员窃听通讯的事件,来显示大数据带来的主要风险。

他的警示:“安全,其自身就是一个及其有数据性(data-driven)的领域。有关安全领域的目标是想要更好的了解周遭的环境,尤其是要比对手做得更快、更有效。”


原文发布时间为:2014-04-11


本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
分布式计算 DataWorks IDE
MaxCompute数据问题之忽略脏数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
47 0
|
2月前
|
SQL 存储 分布式计算
MaxCompute问题之下载数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 0
|
2月前
|
分布式计算 关系型数据库 MySQL
MaxCompute问题之数据归属分区如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
36 0
|
2月前
|
分布式计算 DataWorks BI
MaxCompute数据问题之运行报错如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 1
|
2月前
|
分布式计算 关系型数据库 数据库连接
MaxCompute数据问题之数据迁移如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
35 0
|
2月前
|
分布式计算 Cloud Native MaxCompute
MaxCompute数据问题之没有访问权限如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 0

热门文章

最新文章