云如何帮助企业处理安全日志数据

简介:

所有信息安全控制的共同点是都有以日志事件和报警的格式所生成的数据输出。随着企业规模的增加或者安全级别的增加,安全日志数据及其存储需求也在快速增长。

最近很多服务迁移到云服务提供商的过程给企业带来了一些挑战,如何处理这样大规模的数据——这些数据现在位于同一个云平台的外部。幸运的是,很多这样的CSP在该领域非常活跃,并且一些令人激动的新机遇也随之出现。

分析云上的安全日志数据

有1000多名员工以及平均网络规模的企业能够在一天内轻松生成100GB的日志。如果该企业的大多数环境都托管在云平台上,那么在企业本地站点里对这么大量的数据进行分析,比如,SIEM几乎是不可能完成的任务。这些数据如何能够快速同步从而允许实时分析呢?而且黑客还有可能通过生成大量日志数据来延迟或者阻塞数据流,从而导致安全监控的临时缺失。这里最有效的方案是在云平台里直接监控并且分析日志数据。一种可能的混合方案就是在基于云的服务器上运行SIEM应用程序或者运行简单的日志分析应用,并且将一些更有意思,更相关或者过滤后的数据传送回企业的本地环境。

Microsoft为其Azure平台发布了白皮书,介绍了Azure Deployment Monitoring 和 Windows Event Forwarding。Amazon也提供了类似方案,并且大多数CSP允许客户部署自己的SIEM或者Splunk的相关服务。

从云上下载安全日志数据

可以周期地或者临时地从供应商那里下载安全日志数据,即使这样的数据非常多。然后这些数据可以输入本地的SIEM,比如Alien Vault或者ArcSight来做本地分析,并且如果需要的话,可以和其他事件输入源相关联。周期下载可以基于API的连接。可以每天或者足够频繁地安排下载,从而使得看上去这些数据是持续高效同步的。通常也会使用这样的方法获取基于云的安全产品的数据,比如云杀毒以及入侵监测系统。

如上所述,在计划这样的方案时,还需要考虑带宽的使用和数据输入被中断的可能性,以及限制安全事件的可见性。基于合规要求或者深入的事件调查,有时候需要好多个月的数据。基于这样的数据规模,下载可能无法进行。CSP通常还能够帮助实现自定义的可适应的解决方案。比如,Amazon,开发了Snowball,这是一个PB节规模的,保护数据传输的工具,设计用来将大量数据移入或者移出AWS云。其他供应商也提供了类似方案,因为这样的海量数据请求并不少见。

将安全日志数据上传到云里

一些企业不需要从云里下载安全数据;他们需要将数据上传到云环境里。这样的情况发生在云环境里存在SIEM产品时。如上所述,这是可能的,因为一些企业在云环境里生成的安全日志数据比本地生成的要多得多。这些本地生成的日志数据就需要上传到云上作分析和关联。

它还能够为合规或者数据冗余的目的,提供线下存储的可靠格式。黑客能够攻击安全日志数据,那么拥有一个安全的线下副本就是一种信息安全的最佳实践。

SIEM即服务

独占的第三方基于云的安全运维中心(SOC)供应商也越来越流行。Loggly就是这样的一个公司,它允许客户上传自己的安全日志数据。Loggly SOC监控并且分析这些数据,在需要的地方给客户报警。这样的方案有时候称之为SOC即服务,或者SIEM即服务(SaaS)。每年有越来越多的SaaS供应商出现,比如Alert Logic和Proficio,并且这样的趋势很可能会持续。使用SaaS供应商意味着企业不需要高价搭建自己的,高技能24/7的SOC。但是,也要考虑到所需的带宽,服务的可用性和可能的合规和本地规范,也就是说这样的系统并不是所有公司的最佳选择。

结论

安全日志数据所带来了一些云客户必须处理的挑战,其中大部分在去年已经都解决了,出现了很多可用的工具和服务。这些方案中的绝大多数都创建了一种类似混合的云配置,一部分数据储存在本地,另一部分数据储存在云端。使用市面上可用的相对简单的上传以及下载方案,这些数据能够并且应该能够以这种或那种的格式同步。SIEM即服务的引入说明了云安全的领域仍然非常动态,可以期待在最近几年里,这个领域会出现很多更加激动人心的产品。

本文作者:佚名

来源:51CTO


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
4月前
|
SQL 关系型数据库 MySQL
我使用flinkcdc的sql形式进行全量同步,4张表,有两张表数据没进去,看日志,id怎么是null呢?
我使用flinkcdc的sql形式进行全量同步,4张表,有两张表数据没进去,看日志,id怎么是null呢?
116 40
|
4月前
|
存储 监控 安全
带你读《Apache Doris 案例集》——07查询平均提速700% ,奇安信基于 Apache Doris 升级日志安全分析系统(1)
带你读《Apache Doris 案例集》——07查询平均提速700% ,奇安信基于 Apache Doris 升级日志安全分析系统(1)
|
4月前
|
SQL 存储 安全
带你读《Apache Doris 案例集》——07查询平均提速700% ,奇安信基于 Apache Doris 升级日志安全分析系统(2)
带你读《Apache Doris 案例集》——07查询平均提速700% ,奇安信基于 Apache Doris 升级日志安全分析系统(2)
105 0
|
4月前
|
安全 程序员 Python
Python-logging详解(彩色日志扩展,多进程安全等)
Python-logging详解(彩色日志扩展,多进程安全等)
40 0
|
4月前
|
SQL 关系型数据库 MySQL
⑩⑥ 【MySQL】详解 触发器TRIGGER,协助 确保数据的完整性,日志记录,数据校验等操作。
⑩⑥ 【MySQL】详解 触发器TRIGGER,协助 确保数据的完整性,日志记录,数据校验等操作。
37 0
|
4月前
|
存储 数据库 流计算
Flink CDC为什么我几张表十来条数据就产生了那么大日志?
Flink CDC为什么我几张表十来条数据就产生了那么大日志?
107 0
|
5月前
|
存储 数据采集 监控
从存储统一到数据融合,SLS在可观测场景的思考和行动
介绍SLS在可观测数据融合分析的一系列技术升级,融合Trace、全栈监控、Continuous Profiling、移动端监控等功能,帮助大家更快速地构筑全栈、自动化的观测能力。
127601 52
|
5月前
|
存储 监控 安全
奇安信基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志安全分析系统,查询平均提速 700%
Apache Doris 助力奇安信建设全新日志存储分析平台,提升系统安全性与快速响应能力!
奇安信基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志安全分析系统,查询平均提速 700%
|
6月前
|
存储 JSON 监控
日志分析:内网监控系统数据与ELK堆栈
日志分析一直是信息技术领域中至关重要的一项任务。随着互联网的不断发展,组织和企业积累了大量的数据,而其中很大一部分是日志数据。这些日志数据包含了系统的运行状态、事件发生记录以及性能指标,为了更好地理解和管理这些数据,ELK堆栈(Elasticsearch、Logstash和Kibana)成为了一种非常强大的工具。本文将探讨如何使用ELK堆栈进行内网监控系统数据的分析,同时提供一些代码示例来演示其功能和用法。
246 0
|
7月前
|
运维 监控 安全
使用日志数据的方式
使用日志数据的方式
42 0