日志服务(原SLS)新功能发布(13)--Logtail支持自定义标识自动扩容机器组

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 背景 日志服务提供多种途径帮助用户方便快速写入日志数据到指定日志库,具体包含Logtail客户端、各种语言SDK、TrackingPixel以及REST API等方式,详细描述请参考文档“如何写入日志”。 其中Logtail客户端支持快速接入单行、JSON、分隔符等多种日志文件格式以及syslo

背景

日志服务提供多种途径帮助用户方便快速写入日志数据到指定日志库,具体包含Logtail客户端、各种语言SDK、TrackingPixel以及REST API等方式,详细描述请参考文档“如何写入日志”。

其中Logtail客户端支持快速接入单行、JSON、分隔符等多种日志文件格式以及syslog协议(常见日志收集配置),并且提供80MB/s的大吞吐量,同时性能相比同类工具有10倍提升仅消耗15%的资源(评测文档)。

Logtail客户端使用的一般流程包括三个步骤:创建机器组管理日志数据所在机器、创建日志收集配置、绑定日志收集配置与指定机器组。其中“创建机器组”的默认模式需要用户填写机器(常见为ECS虚拟机,非ECS虚拟机可以参考文档)IP列表,但是在实际使用中机器组机器经常会发生变化,如果没有及时同步更新,新增加的机器无法收集日志,针对这类扩容机器日志问题日志服务发布“自定义机器标识”功能。

示例场景

常见的系统通常由多个模块组成,每个模块可以包含多台机器,比如常见网站分为前端HTTP请求处理模块,缓存模块,逻辑处理模块和存储模块,每部分都可以进行单独的水平扩展,因此在新增机器时需要能够实时进行日志采集。

使用方式

1)创建用户自定义标识

安装完成Logtail客户端后(安装文档),对于示例场景中的模块可以分别分成4类机器标识(http_module/cache_module/logic_module/store_module),并在机器上根据不同机器的作用分别创建指定标识文件

2)创建机器组

创建机器组时“机器组标识”选择“用户自定义标识”,按照模块分类创建4个机器组,并在下方“用户自定义标识”输入框中填入上一步中机器本地创建自定义标识。“http_module”机器组如下图所示:
QQ_20160613183825
完成上述步骤后,可以在机器组“查看状态”中查看使用相同自定义标识的机器列表及其心跳状态,如下图:
QQ_20160613185515
根据上图可以看到10.1.1.1和10.1.1.2两台拥有相同的机器标识,同时两台机器也会同步机器组“http-machine-group”应用的配置。

3)扩容机器

当模块需要扩容机器时,比如前端模块增加机器10.1.1.3,只需要完成步骤1)和2)完成Logtail安装和创建自定义标识为http_module的文件即可自动同步不同机器组的配置,成功执行操作后可以在机器组“查看状态”中看到新增机器。
QQ_20160613194827

相关功能

如果需要在模块中再对机器组进行分类,比如前端模块分别为vip用户normal用户服务,可以使用“机器组Topic”功能设置不同的topic属性,具体使用方式可以参考Logtail配置支持主题(Topic)设置功能

其它

更多日志服务内容请关注产品主页,在日志处理圈子中交流。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
17天前
|
Java
使用Java代码打印log日志
使用Java代码打印log日志
73 1
|
19天前
|
Linux Shell
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
72 1
|
22天前
|
SQL 关系型数据库 MySQL
MySQL数据库,可以使用二进制日志(binary log)进行时间点恢复
对于MySQL数据库,可以使用二进制日志(binary log)进行时间点恢复。二进制日志是MySQL中记录所有数据库更改操作的日志文件。要进行时间点恢复,您需要执行以下步骤: 1. 确保MySQL配置文件中启用了二进制日志功能。在配置文件(通常是my.cnf或my.ini)中找到以下行,并确保没有被注释掉: Copy code log_bin = /path/to/binary/log/file 2. 在需要进行恢复的时间点之前创建一个数据库备份。这将作为恢复的基准。 3. 找到您要恢复到的时间点的二进制日志文件和位置。可以通过执行以下命令来查看当前的二进制日志文件和位
|
28天前
|
监控 Shell Linux
【Shell 命令集合 系统管理 】Linux 自动轮转(log rotation)日志文件 logrotate命令 使用指南
【Shell 命令集合 系统管理 】Linux 自动轮转(log rotation)日志文件 logrotate命令 使用指南
48 0
|
29天前
|
存储 数据库
ALTER MATERIALIZED VIEW LOG :语句来更改现有物化视图日志的存储特征或类型。
`ALTER MATERIALIZED VIEW LOG` 语句用于修改已有的物化视图日志的存储属性或类型。配合示例中的动画图像(由于格式限制无法显示),该语句帮助优化数据库的性能和管理。
44 0
|
9天前
|
运维 安全 Ubuntu
`/var/log/syslog` 和 `/var/log/messages` 日志详解
`/var/log/syslog` 和 `/var/log/messages` 是Linux系统的日志文件,分别在Debian和Red Hat系发行版中记录系统事件和错误。它们包含时间戳、日志级别、PID及消息内容,由`rsyslog`等守护进程管理。常用命令如`tail`和`grep`用于查看和搜索日志。日志级别从低到高包括`debug`到`emerg`,表示不同严重程度的信息。注意保护日志文件的安全,防止未授权访问,并定期使用`logrotate`进行文件轮转以管理磁盘空间。
19 1
|
10天前
|
网络协议 应用服务中间件 Linux
centos7 Nginx Log日志统计分析 常用命令
centos7 Nginx Log日志统计分析 常用命令
23 2
|
11天前
|
Ubuntu Linux 网络安全
/var/log/auth.log日志详解
`/var/log/auth.log`是Linux(尤其是Debian系如Ubuntu)记录身份验证和授权事件的日志文件,包括登录尝试(成功或失败)、SSH活动、sudo使用和PAM模块的操作。登录失败、SSH连接、sudo命令及其它认证活动都会在此记录。查看此日志通常需root权限,可使用`tail`、`less`或`grep`命令。文件内容可能因发行版和配置而异。例如,`sudo tail /var/log/auth.log`显示最后几行,`sudo grep "failed password" /var/log/auth.log`搜索失败密码尝试。
39 8
|
23天前
|
监控 Java 测试技术
日志框架到底是Logback 还是 Log4j2
日志框架到底是Logback 还是 Log4j2
17 0
|
24天前
|
XML 运维 监控
【深入探究 C++ 日志库清理策略】glog、log4cplus 和 spdlog 的日志文件管理策略
【深入探究 C++ 日志库清理策略】glog、log4cplus 和 spdlog 的日志文件管理策略
63 0

相关产品

  • 日志服务