日志服务(SLS)支持历史数据索引重建(Index Rebuild)

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 日志服务提供索引重建功能,针对历史数据索引未配置、配置错误或遗漏等问题,一步完成对历史数据的索引重构

日志服务SLS支持历史数据索引重建

日志服务提供了强大易用的日志查询和分析功能,提供海量日志关键词查询、SQL分析、智能日志聚类、异常诊断等高级功能,同时配合自动告警、交互式仪表盘,真是问题排查、数据分析的利器。然而,要使用好这个利器的各项功能,首先需要对日志进行正确的索引配置。 没有开启索引,日志就无法查询;没有对字段正确设置类型和开启统计,就不能进行SQL分析。

然而,以下故事一直在重复发生:

索引未开启

小程 :"新业务上线!一定大卖!"

客服 : "有用户反馈,昨天晚上有报错,request id : xxxxx"

小程 : "没问题,日志好像都采集到日志服务了,我立马查询一下"

小程 : "为什么不能查询?"

小程 : "什么?还需要先配置索引,现在配还来得及么?只能对新日志生效? 还有什么办法,急!"

客服 :"原因知道了么, 用户在催了"

小程:"再稍等一下,我在机器上爬日志"

小程 :"上千台机器啊,我怎么知道日志在哪里,万一被回滚掉了,怎么办~~~"

字段类型错误

客服 : "有用户反馈,我们的服务访问越来越慢了"

小程 : "把用户的ID给我,我来分析一下"

小程 :"咦? 为什么我的SQL报错了?"

小程:"是字段类型错了么,只有long/double才能算平均值,被误设置成text类型了。。。"

字段配置遗漏

老板: "我们的Nginx日志都采集了么?"

小程:"都采集了"

老板 :"看看我们服务一天有多少错误"

小程:"服务正常,上亿次访问,错误率不到万分之一"

老板 : "都是来之哪些省,哪些运营商?"

小程:"省?运营商?怎么分析?"

小程:"日志服务自带的ip函数就可以了么?但我没对client_ip配置类型,就真的查不了了么?"

小程内心 : "要是有一颗后悔药就好了!我一定刚开始就正确配置索引,保证字段不遗漏!"

不用急,现在日志服务有后悔药可用了!针对以上3大问题,日志服务(SLS)推出历史数据索引重建(Index Rebuild)功能,提供多次重新选择的机会!只要选择需要重建的时间段,后台即可自动按照当前最新的索引配置进行重建,完成之后,即可对历史数据用最新的配置进行查询分析。

操作步骤

  • 选择需要重新创建索引的日志,点击"查询分析", 选择"重建"

image

  • 设置任务名称, 选在需要重建索引的开始和结束时间,点击"确定" 后开始重建索引

image

  • 可以查询索引重建的进度,当进度达到100%的时候,索引重建完成

image

注意事项

  • 重建索引支持的时间段:30天内 ~ 15分钟之前
  • 最多支持10个重建任务
  • 最多同时有1个重建任务在运行
  • 重建的索引任务可以停止(终止重建,不可恢复)或删除(同时删除任务产生的索引数据)

费用

  • 索引重建会另外产生索引费用(只收取一次)和存储费用(每小时计价一次),价格和正常索引一致
  • 当索引任务删除(新生成的索引数据也被删除)后,重建而导致存储费用不再收取
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
24天前
|
Java
使用Java代码打印log日志
使用Java代码打印log日志
77 1
|
25天前
|
Linux Shell
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
78 1
|
29天前
|
SQL 关系型数据库 MySQL
MySQL数据库,可以使用二进制日志(binary log)进行时间点恢复
对于MySQL数据库,可以使用二进制日志(binary log)进行时间点恢复。二进制日志是MySQL中记录所有数据库更改操作的日志文件。要进行时间点恢复,您需要执行以下步骤: 1. 确保MySQL配置文件中启用了二进制日志功能。在配置文件(通常是my.cnf或my.ini)中找到以下行,并确保没有被注释掉: Copy code log_bin = /path/to/binary/log/file 2. 在需要进行恢复的时间点之前创建一个数据库备份。这将作为恢复的基准。 3. 找到您要恢复到的时间点的二进制日志文件和位置。可以通过执行以下命令来查看当前的二进制日志文件和位
|
1月前
|
监控 Shell Linux
【Shell 命令集合 系统管理 】Linux 自动轮转(log rotation)日志文件 logrotate命令 使用指南
【Shell 命令集合 系统管理 】Linux 自动轮转(log rotation)日志文件 logrotate命令 使用指南
51 0
|
1月前
|
存储 数据库
ALTER MATERIALIZED VIEW LOG :语句来更改现有物化视图日志的存储特征或类型。
`ALTER MATERIALIZED VIEW LOG` 语句用于修改已有的物化视图日志的存储属性或类型。配合示例中的动画图像(由于格式限制无法显示),该语句帮助优化数据库的性能和管理。
44 0
|
1天前
|
人工智能 数据可视化 开发工具
Git log 进阶用法(含格式化、以及数据过滤)
Git log 进阶用法(含格式化、以及数据过滤)
|
3天前
|
机器学习/深度学习 前端开发 数据挖掘
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断(下)
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
74 11
|
4天前
|
Java
log4j异常日志过滤规则配置
log4j异常日志过滤规则配置
15 0
|
8天前
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断2
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
15 0
|
9天前
|
机器学习/深度学习 前端开发 数据挖掘
R语言计量经济学:工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
R语言计量经济学:工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
39 0

相关产品

  • 日志服务