大数据触动了网络安全哪根神经?

简介:

人们熟知的平安城市项目中涉及大量摄像头的部署。一个小家庭的安全防护可以靠门、窗、锁,但是一个空间开放的城市的防护可能就要依靠更多的摄像头。这一点与网络安全的演进有些类似。以前,企业主要依靠防火墙、漏洞扫描、杀毒软件等安全设备,保护的是相对封闭的、有明确界限的企业内部环境。但是随着云计算、互联网的兴起,企业的边界、安全的边界正逐渐变得模糊。保护企业的安全,那些”门、窗、锁“是必须的,但是如果增添了”摄像头“,企业的安全是不是更有保障?

企业在已经建立了一个基本的安全防御体系,部署了各类安全的软硬件之后,还应该进一步建立一个全面、立体、主动的监控体系。大数据安全就像是摄像头+中控,是这个立体的监控体系的重要组成部分。“大数据安全对于传统的安全防御市场来说是一种颠覆。不过,大数据安全对于传统的安全体系来说不是替代,而是必要的补充,是从一个新的角度来审视安全防御。”HanSight瀚思CEO高瀚昭表示。

企业掌握安全的主动权
阿里巴巴集团首席风险官刘振飞表示:“在DT(Data Technology)时代,传统安全机制颓势尽显。传统的企业安全重在建设封闭可控的环境,而互联网业务最大的特点在于没有边界、海量用户、设备不可控。在古代战场上,可以用城墙来防御敌人,但是今天,必须建立立体的防控体系才能保障城市的安全。”

在“斯诺登”事件曝光后,人们意识到全面的监控是必须的。但是以前由于技术手段的限制,人们无法对海量的数据进行及时有效的分析。现在,随着云计算、大数据、机器学习等技术的兴起,对海量数据进行实时分析成为可能。大数据直接带动了网络安全的变革。

最坚固的堡垒往往是从内部被攻破的。因此,对所有发生在企业内部的用户行为进行监控和分析,是主动防御不可缺少的一环。对于用传统安全手段无法发现和探知的问题,大数据安全可以通过最严密的分析定位问题所在。

现在,银行都在做数据大集中,通常情况下银行一天的网银日志数据量就达数TB,而这么庞大的数据以前从来没有得到过有效分析。现在有了趁手的大数据分析工具,银行非常积极地利用这些日志数据进行业务分析、运维分析和安全分析。“像银行、电力、运营商、公安等行业的客户,在其业务发展到一定规模后,深知安全性对其业务发展的重要性,所以对大数据安全有强烈的需求。”高瀚昭分析说,“而一些互联网企业目前将主要精力放在迅速扩展业务上,而且没有遇到对业务产生严重影响的安全威胁和事故,所以对安全系统的建设关注不够。”

以前,企业处在被动防御阶段,安全工作的重点集中在边界,想尽办法不让黑客攻进来。但是现在,由于大数据分析工具的运用,主动防御成为可能,企业可以利用全面、深入且及时的数据分析,发现过去不曾被发现的安全漏洞或威胁,甚至可以找出安全攻击的路径,提前做出预警或准备。在大数据时代,企业将掌握安全的主动权。

大数据安全拼的是什么?
有了大数据这个重要抓手,网络安全可以从以前的被动防御转为现在的主动防御。以银行为例,在对待安全这个问题上,它们早就抛弃了“头痛医头,脚痛医脚”的陋习,而是在做好基本安全防御(包括建立健全安全规范和流程)的基础上,主动采用大数据安全手段,建立主动防御体系。客户不再单纯依赖安全厂商,而是借助大数据安全工具,主动寻找自己的安全短板,将更多精力放在安全预测、主动防御上。“国内的一些大型银行、运营商都在积极实施主动防御。”高瀚昭介绍说。

在现实世界中,80%-90%的数据都可能与安全相关,所以要尽可能对所有数据源的数据进行收集、分析。以前,人们认为安全威胁都来自外部,所以只要守住企业与外界之间的那道”墙“,就可以保护企业内部的安全。其实,研究发现,企业内部的数据库也并不安全,可能在用户不知情的情况下已经被黑客侵入。如果用户不了解这些新的变化,那么安全防御也就无从谈起。

“与其说是大数据促成了安全从被动防御到主动防御的转变,不如说是机器学习促进了这种转变的发生。”高瀚昭表示。传统的安全处理方式是有限的,通常经过告警、汇总、分类、排序等环节,由人工参与安全信息的处理,最后梳理出的有效的信息可能也就几十条。现在,安全分析要处理的数据是海量的,就像是大海捞针,如果再依靠人工是不可想象的,而必须依靠机器学习,进行深入的行为分析和模式匹配,找到安全漏洞。

赛门铁克公司也认为,机器学习的能力将是未来安全厂商的核心竞争力。“机器学习的能力将成为衡量一个大数据安全厂商是否优秀的重要标准。”高瀚昭介绍说,这涉及两方面的内容:一是算法的先进性,看哪个厂商能够更精准地找到安全漏洞;第二,威胁情报库是否完备。HanSight瀚思持续不断地优化其机器学习算法的性能,实现实时的分析,1-2秒钟即可得到结果,而以前的分析时间是分钟级甚至小时级别。另外,机器学习还必须在真实的应用环境中,建立符合用户行为基准的模型,这样才保证分析结果的正确性。“

机器学习系统的一个难点是,系统不容易调整,通常只有专家才能掌握,实施起来比较困难。机器学习系统是一个参数敏感的系统,参数的微小调整都会让结果千差万别,因此以前大多只用于科研,而只有参数不敏感、可以自适应的机器学习系统才是适合商用的。除了不断提升机器学习系统的性能以外,HanSight瀚思的另一项工作是实现机器学习系统的数据可视化。通常情况下,机器学习系统得出的结果是一串数字,普通用户很难理解它所代表的意思,因此就需要厂商运用图计算、图数据库,并结合拓扑结构,将数字转化为直观的图形呈现给用户,比如用一个点的大小来表示安全问题是否严重。

大数据安全的门槛高在哪?
“数据驱动安全”这一思想已被越来越多的厂商和用户所接纳。大数据与安全碰撞出的火花对安全市场未来的发展将起到非常重要的作用。一些传统的安全厂商已经在积极转型。但是船大难掉头,限于公司原有的架构、机制等方面的原因,传统安全厂商很难在短时间内在大数据安全方面有巨大的突破。像HanSight瀚思这样的大数据安全分析领域的创业公司则起到了带头和引导的作用。

“在中国,大数据安全领域的创业公司还比较少,其难点在于,企业必须建立安全信息管理中心,接入各种数据源,提供涵盖前后端的全面支持,工作量非常大。传统安全厂商只要解决一个点的安全问题,而大数据安全要解决一个面的问题,要对所有相关信息进行收集和分析。”高瀚昭以前曾在一家安全公司负责全球病毒自动分析工作,所以才能揽下大数据安全这一瓷器活儿。

大数据安全的门槛高在哪?全球第一家上市的大数据公司Splunk公司是大数据安全领域的佼佼者。不过,它也是经过了六七年的研发、酝酿之后,才将其大数据安全产品市场化。成立只有两年的HanSight瀚思已经可以交付成熟的企业级大数据安全平台。

Splunk销售的是大数据安全工具,需要客户在此基础上做大量的二次开发,因此对客户的专业技能有一定要求,实施起来相对复杂。另外,作为一个国外厂商,Splunk的本地化支持力度也有待加强。“中国客户倾向于采购‘交钥匙’的解决方案,希望厂商不仅能够帮助它们发现安全问题,最好还能一并解决问题。HanSight瀚思能够满足中国用户的特殊需求。”高瀚昭表示,“在大数据安全领域,中外厂商基本处于同一起跑线。我们的产品在分析、展现和模型的建立上并不逊于国外的产品。在国内,我们已经有了许多大中型的企业客户。”

在中国,HanSight瀚思有三个业务基地:成都主要负责SOC(安全运营中心)的建立,以及算法的研究;北京负责企业版大数据安全产品的交付;南京的重点放在SaaS服务的交付。高瀚昭介绍说:“我们的SaaS安全产品正在研发中,计划于3月发布。实施SaaS的前提是要将用户场景最小化,支持标准化的硬件,包括常用的交换机、防火墙等。SaaS安全服务的兴起可以让大量互联网企业受益。在互联网平台上,数据可以充分共享,在此基础上,通过建立一个虚拟化SOC,可以提供安全评估服务、安全监控服务、安全运维服务等,还可以建立一个全面的安全威胁情报库。将互联网上的海量信息汇总、分析后,可以为互联网用户提供安全预警。”

本文转自d1net(转载)

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
8月前
|
网络协议 大数据 数据挖掘
文献丨多组学大数据构建小麦穗发育转录调控网络,TRN+GWAS挖掘关键转录调控(二)
文献丨多组学大数据构建小麦穗发育转录调控网络,TRN+GWAS挖掘关键转录调控(二)
|
2月前
|
分布式计算 DataWorks NoSQL
MaxCompute资源问题之网络不通如何解决
DataWorks数据集是指在阿里云DataWorks平台内创建、管理的数据集合;本合集将介绍DataWorks数据集的创建和使用方法,以及常见的配置问题和解决方法。
34 2
|
8月前
|
数据可视化 大数据 数据挖掘
文献丨多组学大数据构建小麦穗发育转录调控网络,TRN+GWAS挖掘关键转录调控(三)
文献丨多组学大数据构建小麦穗发育转录调控网络,TRN+GWAS挖掘关键转录调控(三)
|
8月前
|
大数据 数据挖掘 Go
文献丨多组学大数据构建小麦穗发育转录调控网络,TRN+GWAS挖掘关键转录调控(一)
文献丨多组学大数据构建小麦穗发育转录调控网络,TRN+GWAS挖掘关键转录调控
|
4月前
|
分布式计算 网络协议 Hadoop
大数据成长之路------hadoop集群的部署 配置系统网络(静态) 新增集群(三台)
大数据成长之路------hadoop集群的部署 配置系统网络(静态) 新增集群(三台)
27 0
|
11月前
|
数据采集 存储 大数据
大数据数据采集的数据来源的爬取的网络数据
在大数据应用中,数据采集是非常重要的一步。网络爬虫技术可以帮助企业从互联网上获得更加丰富、多样化的数据,并为后续的数据分析和运用提供支持。
64 0
|
11月前
|
存储 缓存 监控
大数据开发基础的Linux系统的常用系统和网络管理
当今世界正处于信息化时代,数据量不断增长。随着数据的庞大,对于数据处理和管理的需求也越来越高。在这个背景下,大数据开发成为了一个非常热门的领域。而Linux系统是大数据开发的重要基础之一。本文将介绍Linux系统的常用系统和网络管理。
76 0
|
11月前
|
存储 分布式计算 大数据
大数据开发基础的计算机网络的Session/Cookie/Token等概念
随着互联网的发展,计算机网络中的Session/Cookie/Token等概念也越来越受到关注。这些概念在大数据开发中具有重要的应用价值,本篇文章将为大家介绍它们的基本概念、工作原理以及应用场景。
96 0
|
11月前
|
网络协议 大数据 网络性能优化
大数据开发基础的计算机网络的体系结构和分层模型
在大数据开发中,计算机网络是一个非常重要的概念。了解计算机网络的体系结构和分层模型对于实现高效的大数据处理和传输十分关键。
115 0
|
11月前
|
缓存 分布式计算 网络协议
大数据开发基础的计算机网络的ARP/RARP协议
计算机网络是大数据开发中不可或缺的一部分,它连接着我们所使用的各种设备,并实现了信息的传递和共享。在计算机网络中,ARP/RARP协议扮演着重要的角色。本篇文章将为大家介绍ARP/RARP协议的基本概念、工作原理以及应用场景。
179 0