刘文熙:大数据将数据变为运营利器

  1. 云栖社区>
  2. IT168>
  3. 博客>
  4. 正文

刘文熙:大数据将数据变为运营利器

云栖大讲堂 2017-09-28 10:31:00 浏览927
展开阅读全文

本文讲的是刘文熙:大数据将数据变为运营利器,当前,随着企业规模的不断成长,有效存储和管理长期累积的且仍在持续快速增长的海量数据,从中发掘商业价值,意味着巨大的市场机遇;同时,也带来了严峻的挑战:大数据将挑战企业在存储架构及数据中心基础设施等,也会引发数据仓库、数据挖掘、商业智能、云计算等应用的连锁反应。如何选择有效的组织管理数据,提供商业解决方案,已经不是单纯的IT技术问题,而是与企业未来发展前途攸关的关键性问题。

  面对大数据存在的机遇与挑战,在以“海量数据 深度分析 智慧商业”为主题的第二届大数据世界论坛上来自不同行业的专家就大数据的发展与机遇做了详细的介绍。

  Splunk亚太区及日本区域副总裁刘文熙就大数据将数据变为运营利器作了主题分享。

  刘文熙指出,全世界这样的数据每年都在成倍地增长,这对于大数据来说是一个很高的增速。

  数据增长是大数据增长最最快的,有一些数据以传统的方式很难处理和分析,这就是大数据的作用,那为什么机器数据是有意义的呢?为什么这些数据非常重要呢?因为它们可以帮助你分析网络行为、服务质量、消费者行为。那么,所有都是有意义的数据,对于一个企业的成功来讲,都是非常重要的。传统的数据,传统的关系型数据,它们没有标准,它们是分布型的,而且量也非常大。并且大家看到,机器型数据也都是非常重要的数据。比如说你要买一个产品,你要在你的电脑上、iPhone(安卓)上买一个产品的话,你如果不能在网上操作的话,你可能就需要打电话购买这样的产品。因此,所有的这些数据都能够通过大数据捕捉的,而且也是非常具有交互型的数据,每天都会产生这样的数据。

刘文熙:大数据将数据变为运营利器
▲Splunk亚太区及日本区域副总裁 刘文熙

  机器数据的外形,我们可以看到,它包含很多关键性的信息,比如说消费者的ID,还有你产品的地址,消费者的地址,还有订单的地址,还可以看到等待的时间,等等。如果你是用户的话,这并不是购买你想要的,有的时候你也可以投诉,你可以在网上写评价。这样,我们可以通过不同的源把这些信息连起来。因此,联系非常重要,如果你有这样源的话,就可以很好地了解客户的经验和需求,如果你能实时进行的话,如果你的老板让你做一个报告并且非常实时的话,会给你的老板留下深刻的印象。过去还没有什么技术可以实时地进行,因此可以看到各种各样安全和欺诈事件发生,这些都是能够通过机器数据来避免的。

  大数据的机遇

  它的数据增长量是非常大的,传统管理的工具失效,并且非常昂贵,因此现在要创造出更高、更有效的工具。我们必须要很好地设计,如果公司不能很好利用数据的话,就不能很好地管理信息。如果我们能够很好地收集大数据的话,它就会对我们的商业产生价值。

  它到底有多重要呢?我们有高容量、非常复杂的动态数据,我们都要很好地利用它们。当工具变得非常昂贵的时候,我们就必须要看到我们有各种各样的数据。当然了,这是我们公司的产品,这些都可以通过不同的源、不同的环境来实现。

  我们在大数据方面是一个市场的领先者,我们也很多机器数据,我们要让更多的人使用机器数据。我们是一个软件的生产商,我们提供一个平台,有iPhone、iPad,这样可以收集任何数据,它可以是你的提款机,可以是服务器,可以是路由器,任何机器当中的数据。我们就提供这样的平台,我们就能够实时地分析和手机数据。

  在Splunk并且能够进行很多调试的工作,还可以帮助客户分析未来的发展趋势。同时能够很好地监管你的安全,同时也可以分析消费者的行为和安全形势。如果有黑客的话,都可以通过我们的产品避免。

  我们通过这样的技术来收集大数据,以一种更加高效和更加快速的方式为客户解决问题。在过去可能是好几天的时间分析基础设施的问题在哪儿。但是当我们发现数据之后,我们就能够很好地通过这样的数据来解决问题。因此,现在我们解决问题的时间也大大缩小了,这是一种端到端的能力,这就是我们的IT KPI,能够帮助我们进行IT的商业决策。同时,你还可以利用我们的产品分析运营的数据,提高商业运营。

  运营智能,商业和IT人士都可以实时地分析数据,并且提高运营效率。客户、个人、组织都能够在各个方面提高运营效率,比如说,可以减少成本,提高服务质量,减少风险,同时获得洞察力。

  我们的服务并不止于此,我们的消费者每天会产生很多的数据,这些机器数据每天产生的量都达到TB,不管是网络游戏,还是其他的软件,都会产生这样的数据流。

  有超过四千用户在使用Splunk的产品,我们第一款产品是在2006年,之后每年都有超过4000用户使用我们的产品,它们都来自于各行各业,并不是某一个行业在使用我们的产品。因此,我们可以帮助各个企业实现目标。

  比如说,第一个就是通过洞察力,利用机器数据支持公司的运营和商业决策。Centurylink是美国第三大电信公司,提供宽带、无线、管理服务,它们的业务也是遍及全美,包括宽带、语音和无线的服务。同时,它们还有电视的业务和娱乐的业务,这是非常大的业务。宽带的管理者需要制定一些列的决策并且列出决策的清单,每天它们都有新的使用者,它们也非常致力于改善用户的使用体验,同时提高效率和性能,改善基础设施。

  作为一个广播电视商,收视用户肯定不能忍受电视质量经常出问题,如果无线网出现问题的时候,可能就会转到其他的电信运营商。这也就是为什么我们的产品能够帮助它们做到更好,只要有这样网络的基础设施,当然它是非常复杂的,每天我们的机器都会产生这样的机器数据,这些电视用户只要在摇控器上按一下也就会转换到一个频道,这些都会产生很多这样的机器数据,它们也会帮助客户改善质量。这也能够帮助客户把用户的行为转换为商业智能,帮助客户更好地分析最终用户的行为。

  还有网络上的一种调试也是非常重要的,这也是使用Splunk产品的重要原因之一,因为传统的方式可能会使用监管的机器,或者是红灯、绿灯来进行调试。不管是红灯还是黄灯,可以看到只有在红灯亮的时候才表示你的调试完成,而这些都是从一系列的数据流中获得的,这些也都是非常高性能的。当然了,这也需要时间,在夜晚的时候,当你在看电视的时候,在玩手机的时候,可能网上的流量就会减少,我们的产品也能够帮助你分析流量的变化,以及用户在每个时段的使用习惯。当然,这对我们的公司来说非常重要,因为数据的质量和它的价值是随着时间在改变的。

  现在我们也可以看到,各个不同的数据流,它们可能从声音到数据,再到流程,这些应用都是非常重要的,它们都会产生数据流,还包括呼叫中心等基础设施都会产生数据流。因此,使用我们的产品能够帮助你保证数据的稳定性,同时当事件发生的时候能够发现它的原因,这些都可以通过我们的产品来找到。


  如何战略性地应用Splunk

  Splunk有一个特殊的架构,我们不需要预先知道数据的结构,我们很容易引用新的数据源加入数据库中,这样对于IT、商业应用提供了可行性,可以贯穿所有的商业过程、所有的数据流。我们需要随时新增数据源,帮助我们在交易中得到商业洞察力。我们知道,很多公司在这方面都大伤脑筋,我们面临着来源不同的数据流,人们需要知道在数据流中哪些订单带来了利润,不止需要知道在什么地方得到收入,也需要知道在什么地方运用这些收入,同时包括不同的使用者不同的角色,把它们整合。比如在某一段历史时间内可以看到,通过几次点击就可以知道每一个消费者的呼叫运用了多长时间,每个消费者很满意,或者不满意他们会有投诉。

  现在我们来看机器的数据,它也有许多不同的使用情境,不仅是通过监控,或者是测试,监控以及其他的处理可以帮助我们知道订单的来源。当然,还有其他的应用场景。

  现在我们来看一下另外一个关于例子,这个分析的数据起点开始,这一家很大一家数据咨询公司,美国有30%的人都用这种网上报税,我们可以想象一下有多少人使用这些数据,这些数据要非常精确。我们这个月挣了50美金,但是不能和政府撒谎说只挣了25美金,里面的数据需要非常高的精准度。报社、金融机构、信用联盟、会计师事务所,每一个人都可以应用,都可以成为消费者。这个例子来自于财政服务、金融服务,并不是来自于IT,这是一个很经典的案例。

  开始的时候他们不是从用IT开始用Splunk,而是从金融服务开始用Splunk,我们有400万以上的用户在整个美国,包括网上银行电子支付系统、个人网上理财、网站、主机。因此,我们需要看是否也黑客进入系统得到信息,我们需要进行一个整体的诈骗分析,因为我们不可能允许不正常的事件在这个系统中发生。所以,我们不是用事后补救的方式,这其中关键在于我们的团队意识到所有来自于机器的数据都与安全相关,这样可以帮助我们发现一些诈骗的案例。

  我们需要持续地关注,看诈骗按键在什么类型发生,比如一个诈骗者侵入系统企图获得非法钱财,Splunk就可以嗅探到系统中发生的所有事件。这是我们的另外一个例子,关于我们的数据如何在15家银行内实时通过地理系统的联系,嗅探到可能的诈骗。我们可以看到,通过一个数据处理供应商,我们看到这里有不正常的事件发生,我们就给警察打电话,就抓住了诈骗犯。但是传统上我们没有其他的工具或者应用能够帮助我们取得这种洞察,来帮助我们发现系统中不正常的事件,来防止诈骗案件的发生。

  我举的最后一个例子是团购,Groupon这家公司成立不到四年,但是这个公司扩张得非常快,它是在2008年11月在芝加哥创立的,每天有很多不同类型,比如美食、娱乐等团购,分布在世界不同150多个国家,给商家和顾客创造双赢的结局。Splunk是一个非常重要的工具来帮助Groupon建立数据,在API、数据挖掘、数据获取、商业智能等方面,都起到非常重要的作用。Groupon的API主要用于安卓、iPhone这种移动应用,通过这种API应用获得市场上更多消费者的青睐来使用他们的团购平台。我们用API鼓励新的用户注册,并且向他们推送信息。这样,Splunk可以成为一个动词,而不仅仅是一个名词。

  数据可以从API数据平台上进行Splunk,Splunk可以提供非常棒的消费者体验,并且为商家提供消费洞察,这样它们可以优化广告投放。当人们点击之后,数据流流向哪里可以帮助商家分析消费行为。像我这样的消费者,如果我上网的话,我可能和你的上网习惯是不一样的。这就是网上的智能,就是点击流,这种数据可以被收集起来。所有来自机器的数据就储存在一个地方,几乎是实时地提供,不是完全实时,而是接近于实时。同时,可以以任何方式、任何门槛进行应用,获得新的广告投放的一个依据。这样,你经常用Groupon来团购美食,这样Groupon就已经知道你的基本信息,这个用户每次上Groupon只点击美食,下次它做广告的时候,它只会把电子广告发给这个用户,不是大规模地投放,只是投放给特定的消费用户。

  Splunk也可以用于核心IT应用,用于研发、处理、应用管理、流程管理、IT架构,这是非常重要的,因为你可以辨别出一个趋势,知道你环境的一个趋势。

  Splunk也可以和其他的技术结合在一起应用,我们的Splunk是没有延时的,几乎是实时的反应,因为在不同的数据搜索、整合方面有最佳实践。因此,来自Splunk的数据是足够可靠的,可以被传送到Hadoop上。同时可以进行特定的批处理。

  Splunk大数据的解决方案

  Splunk大数据的解决方案具有独特的长处,我并不是一个技术人员,但是我可以从Splunk的网站上下载,几分钟就可以装好,非常简便。可以通过端到端的功能,每一个可以生成这种数据的数据源都可以被整合到Splunk,并且从中得到数据。这样,我们还可以得到可视化的结果,可视化也是非常重要的,当我们把这些数据捕获编辑之后,我们需要知道如何进行数据的可视化,使得这些数据更为简便。同时,Splunk在全球已经有四千多家机构和用户,每天可以处理的数据何以用TG来计算。

  作为Splunk,我们的使命就是使得机器数据可集可用,并且为所有人创造价值。如果你们希望了解更多关于Splunk的信息,欢迎访问我们的网站,可以在我们的网站上得到更多信息。如果你感兴趣的话,你还可以下载Splunk两个月的试用版,非常简便。

作者: 李伟

来源: IT168

原文标题:刘文熙:大数据将数据变为运营利器


网友评论

登录后评论
0/500
评论
云栖大讲堂
+ 关注
所属云栖号: IT168