【功能发布】日志服务(SLS)9-10月功能合集

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 日志服务9月功能发布

新地域

新增英国(伦敦)区域

新功能

1.新增机器学习/统计函数

摘要
日志服务新增机器学习函数,提升智能日志分析能力

适用客户
开发者、运维人员、数分析师

详细说明
机器学习功能为您提供多种功能丰富的算法和便捷的调用方式,您可以在日志查询分析中通过SELECT语句和机器学习函数调用机器学习算法,分析某一字段或若干字段在一段时间内的特征。尤其是针对时序数据分析场景,日志服务提供了丰富的时序分析算法,可以帮助您快速解决时序预测、时序异常检测、序列分解、多时序聚类等场景问题,兼容SQL标准接口,大大降低了您使用算法的门槛,提高分析问题和解决问题的效率。功能特点:

  • 支持单时序序列的多种平滑操作。
  • 支持单时序的序列预测、异常检测、变点检测、折点检测、多周期估计算法。
  • 支持单时序的序列分解操作。
  • 支持多时序序列的多种聚类算法。
  • 支持多字段(数值列、文本列)的模式挖掘。

文档

2. 新增公网IP/服务端到达时间标签

摘要
日志服务LogHub功能新增加了两种默认标签:日志写入客户端的公网IP地址和服务端接受日志的时间。

适用客户
开发者,运营人员

详细说明
客户端公网IP可以和日志服务提供的IP相关函数结合,帮助用户获取客户端的城市,省份等位置分布信息。而服务端到达时间可以统计日志的实际到达服务端的时间,当客户端写入的时间不准确时,日志到达服务端的时间可以作为日志时间的补充。
用户在控制台开通该功能后,使用SDK,WebTracking等方式写入日志时,日志服务会记录客户端IP地址和日志到达服务端的时间,并以标签__client_ip__ 和__receive_time__中。用户可以通过控制台查询,消费组,流计算等消费方式对这两个标签进行消费。

文档

3. 新增Compare/时序数据补点等函数

摘要
日志服务新增Compare系列扩展函数,时序补点函数,加强场景分析能力。

适用客户
开发者、运维人员

详细说明
compare_result()对compare结果与比例直接以字符串形式统一输出。
compare() 新增多时间段比较,能在一个函数内对最大4个时间区间进行比较,例如可以同时计算同比,环比等数据。

文档

4. 仪表盘新增过滤器图表

摘要
仪表盘新增过滤器图表,包含新增过滤条件和变量替换功能。

适用客户
开发者、运维人员

详细说明
在日志服务仪表盘中增加过滤器配置,可以过滤器缩小查询范围或替换占位符变量,即对整个仪表盘进行查询过滤(Filter)和变量替换(Variables)操作,仅需进行一次配置即可在整个仪表盘中对某一Key值进行持续的交互分析。

文档

5. 发布实时推送(LiveTail)功能

摘要
日志服务新增LiveTail功能,实时监控线上日志文件写入,不需要登录服务器既可以达到远程tail -f效果。

适用客户
开发者、运维工程师

详细说明
在传统的运维方式中,我们如果需要对日志文件进行实时监控,就要到服务器上对日志文件进行tail -f命令操作,然后实时监控的日志信息不够直观的话,再加上grep或者grep -v进行关键词过滤。
这样的操作非常方便有效,但在分析异常中会力不从心,所以日志服务在控制台上新增了LiveTail功能,以满足以下的场景:

  • 监控日志的实时反馈,关键词标记以及过滤。
  • 结合采集配置,对采集的日志进行索引区分。
  • 日志字段作分词处理,以便查询包含分词的上下文日志。
  • 根据单条日志信息追踪到对应日志文件进行实时监控,无需连接线上机器。

文档:

6. CLI - 支持高速跨域复制/重索引/重投递数据功能

摘要
日志服务的命令行工具(CLI)增加了高速跨域日志复制,对历史数据进行重新索引与数仓投递的功能。

适用客户
开发者,运维工程师

详细说明
CLI 增加如下两项功能:

  1. 使用CLI提供的copy_data子命令,即可轻松基于特定时间区域的数据,从一个区域的logstore复制到另一个区域的logstore(可以同区域同logstore)。
  2. 支持了对历史数据进行重新索引、重新投递的功能。

文档:

云产品接入

1. 函数计算Metric

摘要

函数计算用户可以将函数调用的统计信息采集到日志服务LogStore存储,并支持对函数调用进行实时查询与分析统计、通过多种可视化方式进行分析结果的直观展示,帮助您更好地掌控函数运行状态。

适用客户

函数DevOps人员、财务人员

详细说明

  • 函数计算Metric数据实时采集,绝大部分情况下用户可见延迟为秒级
  • 满足函数实时诊断需求:通过关键词进行日志查询,并支持SQL语法进行问题诊断
  • 内置一张报表,包括:计费调用次数、资源使用量、公网出入流量、服务质量、函数并发度、执行时间等指标
  • 支持对函数健康程度进行监控,通过查询语句获取函数调用的统计结果并设置阈值触发告警

文档

2. 态势感知

摘要

阿里云态势感知日志分析(LogAnalysis)可提供态势感知风险威胁数据的实时收集、查询与实时分析、存储和分发等一站式服务。无需您开发就能快捷完成全要素风险和威胁日志数据的采集、查询与实时分析等,帮助您提升运维、运营效率。

适用客户

安全运维人员、安全运营运营人员、安全系统开发者、CIO等

详细说明

功能优势:

  • 秒级完成安全与主机日志分析, 网络日志可达1小时级别
  • 全面覆盖网络、主机、安全三大类共14种类型的子日志
  • 支持API接口及多种语言的SDK, 与阿里云、开源生态下游计算、大数据系统融合,对合作伙伴开放
  • 操作简便、开箱即用;支持用户基于自身业务场景自定义构建业务视图

功能描述:

  1. 实时全要素日志采集: 帮助用户及时全面了解资产的数据和运行情况,及时获取资产中包含主机、网络和安全方面的风险和威胁,全面防护您的资产安全。
  2. 智能查询分析,内嵌详细的查询语法: 支持实时检索和查询分析数据,可查询多种复杂场景下的日志,帮助用户更好发现各类隐蔽安全风险,避免对业务造成严重损失。
  3. 快速分析: 态势感知日志分析服务提供快速分析功能,为用户提供一键交互式查询体验,帮助您快速分析某一字段在一段时间内的分布情况和占比,减少索引关键数据的时间成本。
  4. 丰富的报表仪表盘界面: 日志报表页面可集中展示安全、主机和网络3类日志列表仪表盘的相关数据,支持接入多种可视化平台。
  5. 自定义报表: 支持用户基于自己的业务特点自定义报表和仪表盘。
  6. 导出日志: 支持导出日志到本地或其他数据仓库,帮助用户开展安全审计工作或者备案提供依据。

文档

3. DRDS日志审计与分析

摘要

阿里云分布式关系数据库DRDS的SQL执行日志已经与日志服务打通,提供历史 SQL 追溯能力,提供 SQL 实时分析能力,全方位展示数据库执行状况、性能指标、安全问题。并提供内置可深钻的报表、支持异常报警与生态对接能力等。

适用客户

  • 合规:对SQL审计日志存储有更长存储合规需求(例如半年/1年)的大型企业与机构,如金融公司、政府类机构等。
  • 高级运维:需要对数据库状况做实时监测,并对业务上出现的性能、可靠、稳定性等异常问题能够进行快速排错的客户,需要使用日志服务的实时的交互式的统计、查询分析和报警功能,如互联网服务、金融等企业。
  • 安全:需要对数据库安全进行审计,辅助数据安全防护和事后排查的公司,需要使用日志服务的实时查询分析功能,如金融、证券、电商、游戏等公司。
  • 行为分析:需要对数据库操作做行为分析,作进一步性能、功能、体验调优的参考和验证,除了统计查询外,也需要对接外部系统做进一步深度分析的公司。

详细说明

具备以下优势:

  • 简单轻松配置,即可实时采集SQL执行审计。支持一键历史执行SQL的审计信息导入。
  • 可靠:对现有数据库支持无性能影响,数据实时接入,秒级延迟。
  • 信息充分:除了执行的SQL之外,也自动提供事务归类、SQL模板归类、SQL类型解析、执行时间、执行结果、影响行数等信息,对数据库执行状况、性能、潜在安全问题了如指掌,并可实时挖掘细节。
  • 强大:依托日志服务,提供实时日志分析,并提供开箱机用的报表中心,并提供深钻能力,且支持定制。
  • 灵活:支持基于特定指标,支持定制准实时监测与报警,确保关键业务异常及时响应。可对接其他生态如流计算、云存储、可视化方案,进一步挖掘数据价值。
  • 成本优势:支持任意时间的存储,以便合规、溯源、备案等。每1000万条SQL审计日志存储一个月,每天只需2毛钱左右

文档

4. CDN实时日志分析

摘要

用户可以在控制台对CDN日志进行所见即所得分析

适用客户

开发者、运维人员、运营人员、财务人员

详细说明

CDN实时日志延时小(秒级延时),可以帮助您快速的了解到CDN的访问详情,开通服务后,CDN将日志数据自动投递到日志服务(SLS),免去繁琐的传统日志分析的流程,实时查看日志分析结果。通过日志的实时分析,您可以快速发现和定位问题,通过对日志数据的挖掘,提高数据的决策能力,将您的业务推向一个新的高度。

该方案有如下特点:

  • 实时日志为实时采集的日志数据,日志数据延迟大部分情况为秒级
  • 打通了日志服务分析的能力,为客户定制4张分析报表,帮助您快速对日志进行分析,发现问题,及时决策。

文档

体验优化

1. 接入向导功能优化

摘要
接入向导分隔符模式增加自定义配置quote功能,高级选项新增丢弃解析失败日志开关。

适用客户
开发者、运维人员

详细说明
接入向导在分隔符模式下可支持用户自定义配置quote转义符,同时高级选项内新增丢弃解析失败日志开关,开启后,解析失败的日志不上传到日志服务,关闭后,日志解析失败时上传原始日志。

2. 控制台优化

摘要
控制台功能体验增强,支持各实例中文设置,优化名称修改和图形显示等逻辑。

适用客户
开发者、运维人员

详细说明

  1. 快速查询,告警名称,告警字段,仪表盘名称支持中文设置
  2. 仪表盘页面可编辑仪表盘名称
  3. 快速查询详情开放名称修改功能
  4. 中国地图世界地图显示颜色优化
  5. markdown支持有序列表,无序列表
  6. 日志下载优化,动态生成命令行
  7. 线图优化,非双轴图的情况下可正常使用legend
  8. 日志查询页面全面优化渲染性能
  9. 日志查询页面内容列新增折叠相关配置,用户可以根据自身日志量合理调整折叠粒度
  10. 日志查询页面左侧资源树交互调整,扩大可视区域
  11. 表格类图表新增翻页组件,保障大limit条件下图表有稳定的渲染性能
  12. 时间选择新增今天(相对时间)、最新5分钟
  13. 国际站同步中文站部分功能

3. 控制台bug修复

  1. 分词符输入''导致出现多个''
  2. dashboard在只存在markdown的情况下无法显示标题
  3. 线图超过8条后,颜色显示异常
  4. dashboard添加,名称和图表名称相同情况下无法创建
  5. 流图配置在没有数据情况下导致页面卡死
  6. 存在markdown的仪表盘,点击刷新一直处于loading状态
  7. 修复桑基图在数据项为0情况下label重叠问题
  8. 修复矩形树图label显示过密问题
  9. 修复当前页选中点击标签页可能导致js报错问题
  10. 修复编辑markdown图表有可能导致图表重复渲染问题
  11. 修复左侧资源数查询后导致dashboard标题消失问题
  12. 修复仪表盘全屏模式下刷新会导致css样式错乱问题
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
21天前
|
Java
使用Java代码打印log日志
使用Java代码打印log日志
75 1
|
23天前
|
Linux Shell
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
77 1
|
26天前
|
SQL 关系型数据库 MySQL
MySQL数据库,可以使用二进制日志(binary log)进行时间点恢复
对于MySQL数据库,可以使用二进制日志(binary log)进行时间点恢复。二进制日志是MySQL中记录所有数据库更改操作的日志文件。要进行时间点恢复,您需要执行以下步骤: 1. 确保MySQL配置文件中启用了二进制日志功能。在配置文件(通常是my.cnf或my.ini)中找到以下行,并确保没有被注释掉: Copy code log_bin = /path/to/binary/log/file 2. 在需要进行恢复的时间点之前创建一个数据库备份。这将作为恢复的基准。 3. 找到您要恢复到的时间点的二进制日志文件和位置。可以通过执行以下命令来查看当前的二进制日志文件和位
|
1月前
|
监控 Shell Linux
【Shell 命令集合 系统管理 】Linux 自动轮转(log rotation)日志文件 logrotate命令 使用指南
【Shell 命令集合 系统管理 】Linux 自动轮转(log rotation)日志文件 logrotate命令 使用指南
49 0
|
1月前
|
存储 数据库
ALTER MATERIALIZED VIEW LOG :语句来更改现有物化视图日志的存储特征或类型。
`ALTER MATERIALIZED VIEW LOG` 语句用于修改已有的物化视图日志的存储属性或类型。配合示例中的动画图像(由于格式限制无法显示),该语句帮助优化数据库的性能和管理。
44 0
|
1天前
|
Java
log4j异常日志过滤规则配置
log4j异常日志过滤规则配置
7 0
|
14天前
|
运维 安全 Ubuntu
`/var/log/syslog` 和 `/var/log/messages` 日志详解
`/var/log/syslog` 和 `/var/log/messages` 是Linux系统的日志文件,分别在Debian和Red Hat系发行版中记录系统事件和错误。它们包含时间戳、日志级别、PID及消息内容,由`rsyslog`等守护进程管理。常用命令如`tail`和`grep`用于查看和搜索日志。日志级别从低到高包括`debug`到`emerg`,表示不同严重程度的信息。注意保护日志文件的安全,防止未授权访问,并定期使用`logrotate`进行文件轮转以管理磁盘空间。
19 1
|
14天前
|
网络协议 应用服务中间件 Linux
centos7 Nginx Log日志统计分析 常用命令
centos7 Nginx Log日志统计分析 常用命令
27 2
|
15天前
|
Ubuntu Linux 网络安全
/var/log/auth.log日志详解
`/var/log/auth.log`是Linux(尤其是Debian系如Ubuntu)记录身份验证和授权事件的日志文件,包括登录尝试(成功或失败)、SSH活动、sudo使用和PAM模块的操作。登录失败、SSH连接、sudo命令及其它认证活动都会在此记录。查看此日志通常需root权限,可使用`tail`、`less`或`grep`命令。文件内容可能因发行版和配置而异。例如,`sudo tail /var/log/auth.log`显示最后几行,`sudo grep "failed password" /var/log/auth.log`搜索失败密码尝试。
57 8
|
27天前
|
监控 Java 测试技术
日志框架到底是Logback 还是 Log4j2
日志框架到底是Logback 还是 Log4j2
18 0

相关产品

  • 日志服务