Quick BI审计日志持久化联合解决方案

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介:

作者:潘炎峰 更多内容详见数据中台官网 https://dp.alibaba.com
引言
随着网络信息化的成熟发展、“国家网络安全法规”的深入落实要求,企业组织也越来越重视操作日志的保存与分析,其中云计算中的资源的操作记录是一类非常重要的日志。阿里云构建了操作审计(ActionTrail)产品,为云上客户提供审计日志服务。那么如何利用阿里云操作审批(ActionTrail)来构建长周期的云上操作审计方案呢?今天,小编给大家推荐“ActionTrail+OSS+DLA+Quick BI”的组合解决方案,将ActionTrail的审计日志定时同步到OSS进行长周期保存,利用Data Lake Analytics将日志数据标准化,再基于Quick BI进行审计日志的主题式分析。
image

步骤一:ActionTrail审计日志:审计日志统一采集
操作审计(ActionTrail)会记录您的云账户资源操作,提供操作记录查询,并可以将审计事件保存到您指定的日志服务Logstore或者OSS存储空间。利用ActionTrail保存的所有操作记录,您可以实现安全分析、资源变更追踪以及合规性审计。需要开通操作审计功能,才可以实现审计日志统计收集。

步骤二:审计日志持久化存储:基于ActionTrail将日志同步到OSS
基于ActionTrail的创建跟踪功能,我们可以以便保存更长时间的审计事件。操作审计会将事件保存到我们指定的OSS Bucket中。

步骤三:日志标准化:基于DLA实现ActionTrail审计日志标准化
将ActionTrail的审计日志投递到OSS之后,我们发现递到OSS的日志格式是非HADOOP标准JSON格式且存在大量小文件,非常不便于审计日志解析和查看。联合DLA专项定制了ActionTrail日志清洗服务,基于ActionTrail日志清洗功能,我们可以快速实现ActionTrail日志数据的格式化,而且可以基于DLA实现亿级别数据的快速查询与分析。
image

· 标准化之后的数据格式如下:(以Quick BI日志说明为主)
1) 格式化后字段说明:
image

2)qbi_operation_type 的操作类别说明:
image

步骤四:日志分析:基于Quick BI实现审计日志自助分析
在DLA进行日志标准化基础之上,利用 Quick BI进行审计日志自助分析。在实际过程中,可以根据日志的来源系统进行业务拆分,形成不同业务分析主题,满足各业务审计日志查询要求。下面以Quick BI的审计日志为例,进行使用讲解。
1.创建DLA数据源连接
填写在Quick BI中新建DLA数据源连接,填写对应的数据库连接信息即可。
image

2.快速创建审计日志数据集
1)选择DLA标准化后的数据表,一键快捷创建数据集。如下所示:
image

2)在Quick BI的数据集管理功能中,进行数据集处理。“event_id”可以克隆字段并转换为度量并扩展为PV字段;“username”可以克隆字段并转换为度量并扩展为UV字段。如下所示:
image

  1. 创建审计日志分析主题(以Quick BI审计日志为例)
    在Quick BI的仪表板管理中,建立审计日志报表。Quick BI审计日志参考如下:

image

这样一来,基于QuickBI构建的长周期云上操作审计联合解决方案就配置完成啦,快来试一试吧!

阿里巴巴数据中台团队,致力于输出阿里云数据智能的最佳实践,助力每个企业建设自己的数据中台,进而共同实现新时代下的智能商业!
阿里巴巴数据中台解决方案,核心产品:
Dataphin,以阿里巴巴大数据核心方法论OneData为内核驱动,提供一站式数据构建与管理能力;
Quick BI,集阿里巴巴数据分析经验沉淀,提供一站式数据分析与展现能力;
Quick Audience,集阿里巴巴消费者洞察及营销经验,提供一站式人群圈选、洞察及营销投放能力,连接阿里巴巴商业,实现用户增长。
欢迎志同道合者一起成长!更多内容详见数据中台官网 https://dp.alibaba.com

目录
相关文章
|
1月前
|
存储 JSON 监控
可以通过配置Filebeat来将Higress日志持久化到磁盘
【2月更文挑战第10天】可以通过配置Filebeat来将Higress日志持久化到磁盘
27 4
|
2月前
|
传感器 数据可视化 搜索推荐
瓴羊Quick BI助力深圳光明环境水务公司举办水务数据应用大会暨第二届“光环杯”BI应用大赛
瓴羊Quick BI助力深圳光明环境水务公司举办水务数据应用大会暨第二届“光环杯”BI应用大赛
|
2月前
|
BI
Quick BI V5.0发布:一键解锁智能小Q等全新智能商业分析能力
Quick BI V5.0发布:一键解锁智能小Q等全新智能商业分析能力
|
4月前
|
消息中间件 存储 Kafka
阿里 P7 三面凉凉,kafka Borker 日志持久化没答上来
阿里 P7 三面凉凉,kafka Borker 日志持久化没答上来
|
2月前
|
Prometheus Cloud Native 数据库
Grafana 系列文章(九):开源云原生日志解决方案 Loki 简介
Grafana 系列文章(九):开源云原生日志解决方案 Loki 简介
|
4月前
|
关系型数据库 BI 分布式数据库
PolarDB NL2BI解决方案,让你不懂SQL也能进行数据查询分析并生成BI报表
无需创建和开通资源,在预置环境中免费体验PolarDB MySQL及其NL2BI解决方案
PolarDB NL2BI解决方案,让你不懂SQL也能进行数据查询分析并生成BI报表
|
5月前
|
Java
SpringBoot 日志终极解决方案
SpringBoot 日志终极解决方案
43 0
EMQ
|
2月前
|
JSON 安全 API
EMQX Enterprise 5.3 发布:审计日志、Dashboard 访问权限控制与 SSO 一站登录
EMQX Enterprise 5.3.0 版本已正式发布! 新版本带来多个企业特性的更新,包括审计日志,Dashboard RBAC 权限控制,以及基于 SSO(单点登录)的一站式登录,提升了企业级部署的安全性、管理性和治理能力。此外,新版本还进行了多项改进以及 BUG 修复,进一步提升了整体性能和稳定性。
EMQ
285 1
|
3月前
|
消息中间件 BI Serverless
消息队列推出serverless版、Quick BI升级至5.0……阿里云近期产品动态汇总
消息队列推出serverless版、Quick BI升级至5.0……阿里云近期产品动态汇总
478 1
|
3月前
|
SQL 机器学习/深度学习 数据可视化
产品至简,大道行宽——Quick BI接入通义千问大模型,引领数据消费新范式
产品至简,大道行宽——Quick BI接入通义千问大模型,引领数据消费新范式
254 0

热门文章

最新文章