RA简介
RedAlert（一下简称RA）是神马搜索引擎团队打造的一个基于指标的监控服务，它从类似ganglia或graphite这样的数据源获取指标，并在指标异常的时候通过邮件发送告警
RA服务由两部分组成
- RAServer: 执行指标检测,发送告警的服务主体
- RAWeb: 本服务提供的web管理端，用于管理配置，更新配置
涉及到告警,必然伴随到告警的策略,即什么条件下触发告警,RA服务提供了五种常用的策略:
- 阈值：当前值小于等于下限或大于等于上限时产生告警
- 趋势：当前值与预测值差异过大时产生告警，即出现突增或突降
- 可用性：metric的机器数少于阈值时产生告警
- 奇异点：metric的机器中，某一机器的值与整体均值差异较大时产生告警
- 环比：当前值与历史同期值（比如前一天当前时刻）差异过大时产生告警
安装
下面我们以常见的ubuntu作为实验环境，来看看如何从源码安装RA。
编译前的准备
RA源码使用scons编译
Sudo apt-get install scons
RA运行时依赖一些第三方库
sudo apt-get install librrd-dev libssl-dev libldap-dev libidn11-dev libglib2.0-dev libsqlite3-dev libcppunit-dev
某些依赖的模块源码在RAServer/deps目录下，也需要预先编译
Cd RAServer/deps
Sh ./compileDepdend.sh
该脚本编译出的文件会被安装在RAServer/_external目录下
好了，万事俱备只欠东风，下面我们来编译RAServer
Git clone git@github.com:alibaba/RedAlert.git
Scons –j 8
如果编译成功，scons最后应该输出scons: done building targets.
如果想运行一下RA的单元测试，可以执行scons –j 8 test
最后，我们为部署单独准备了一个tar.gz的压缩包，它里面包含了RA依赖的所有文件，可以通过scons –j 8 package得到，压缩包在RAServer/build/release/packages/red_alert.tar.gz
启动
启动Web服务
RAWeb位于上节clone下来的项目中RAWeb目录下,启动Web服务有三种方法:
- 本地调试模式
- apache
- uwsgi
下面我们以本地调试模式为例子,介绍一下启动Web服务所涉及到的配置文件
conf/red_alert_web.conf
[DEFAULT]
projectRoot = /var/www/html/red_alert_web
workspace = /var/www/html/red_alert_web
[PathConfig]
RedAlertWebWorkRoot = %(workspace)s/work
RedAlertWebConfDir = %(RedAlertWebWorkRoot)s/current
RedAlertWebTablePath = %(RedAlertWebConfDir)s/sqlite
RedAlertWebAuxPath = %(RedAlertWebWorkRoot)s/raweb.aux.db
RedAlertWebJsonPath = %(RedAlertWebWorkRoot)s/raweb.json
RedAlertWebVersionDir = %(RedAlertWebWorkRoot)s/tmp
[Parameter]
runPort = 5011
MaxRaBackEnd = 3
RedAlertStoragePath = file://var/www/html/foo
[fsLib]
fsUtil = %(projectRoot)s/fs_lib/bin/fs_util
projectRoot即RAWeb代码所在的目录, workspace是指RAWeb服务运行的目录,注意如果使用apache启动RAWeb的话,需要保证apache用户对workspace目录有读写权限.
RedAlertWebWorkRoot是RAWeb的工作目录
RedAlertWebConfDir是RAWeb保存sqlite的目录
RedAlertWebTablePath是sqlite的绝对路径,它包含了如下几张表,将会在RAServer中使用到:
- Policy
- RedAlert
- DataSource
- Pairs
- Shield
RedAlertWebAuxPath是数据库文件的绝对路径
RedAlertWebJsonPath是raweb.json配置文件的绝对路径,该文件是RAWeb内部使用的配置,用于校验用户输入
RedAlertWebVersionDir用于记录每次告警策略的发布
runPort仅在本地调试时有用,是RAWeb的服务端口
MaxRaBackEnd表示该web服务支持多少个RAServer
RedAlertStoragePath是RAWeb发布告警策略的存储路径,目前仅支持本地磁盘,用户也可以扩展其他的分布式文件系统,比如hdfs
static/ra_conf.js
var ra_conf = {
"api_url": "http://localhost:5011",
"current_url": "http://0.0.0.0:5011/index.html",
"buc_sso_url": "",
"api_timeout": 3000,
"admin_timeout": 10000,
"disable_account": true
};
这里仅需修改api_url为你实际的web部署ip和端口
启动Web服务
运行python raweb/main.py成功后,就可以从浏览器访问http://127.0.0.1:5011/index.html来访问RAweb
启动RA服务
上节最后我们得到了一个RA服务的tar.gz压缩包，现在我们准备部署RA服务，比如我们打算将RA安装在/home/admin/ra/目录下：
mkdir /home/admin/ra/
tar xzf RAServer/build/release/packages/red_alert.tar.gz –C /home/admin/ra
解压后，安装目录结构大概如下图所示：
usr/local/bin目录下有一个red_alert.sh的脚本，我们就用它来启动RA服务，不过在启动之前，我们先要准备一下RA服务的配置,完整的配置如下
{
"aliMonitorUrl":"", // 内部使用,开源版本无需关心
"alarmThreadNum": 1, //发送告警的线程数
"checkerThreadNum":2, // 检查指标的线程数
"fetcherThreadNum":2, // 从数据源拉取指标的线程数
"alarmQueueSize": 1024, // 告警线程的队列大小
"checkerQueueSize": 1024, // 检查线程的队列大小
"fetcherQueueSize": 1024, // 拉取源数据线程的队列大小
"retrieveMetricsPointCount": 5, // 每次拉取几个点的源数据
"maxRandomLastRetriveTimeValueSec": 60, //每次拉取数据的最大(随机)间隔,单位秒
"reloadTreeIntervalSec": 60, // 隔多少秒从数据源获取一次指标结构
"mailUser": "", // 发送告警的邮件用户
"mailPassword": "", // 发送告警的邮件密码
"mailServerUrl": "", // 发送告警的邮件服务器,比如smtps://smtp.example.com
"heartbeatHost": "", // RA web的服务器地址
"heartbeatPort": "" // RA web端口
}
一般情况下,我们只需要修改mailUser, mailPassword, mailServerUrl, heartbeatHost, heartbeatPort即可。准备好配置文件后，用上文介绍的脚本red_alert.sh启动服务:
red_alert.sh –p 8000 –c ra.json
使用RAWeb配置告警
访问Web服务后,按下图点击新增策略按钮
按下图配置一个阈值告警(cpu_user超过40,或者低于5发送告警给foo@bar.com)
保存完毕后,进入控制台页面,这里我们可以看到后端RAServer运行的情况.点击发布配置可以将刚才保存的策略发布到RAServer上去. 如果发生误操作,还可以点击撤销修改或者回滚配置
当某台cpu_user出问题的时候,就可以收到告警邮件啦!
策略配置详解
- 策略组：策略所属的组，方便对多个策略分组统一操作，比如对策略组整体或者部分进行屏蔽
- 触发类型：触发告警的方式，目前支持：阈值，趋势、周期、可用性、奇异点五中类型
- 采集间隔：数据拉取的间隔（单位秒），间隔越小告警越及时，同时也越容易受偶发波动影响导致误报
- 指标名：要监控的指标名称,必须和数据源上的指标名字匹配
- 检查类型：目前支持“单个”，“组合”，“机器组合”三种，其中“机器组合”是此版本新增类型。
- “单个”：对该策略配匹配到的所有metric的每个host值，单独检查，只要有一台host有异常，即触发告警
- “组合”：对该策略配匹配到的所有metric的所有host值的总和值，进行检查，若总和值有异常，即触发告警
- “机器组合”对该策略配匹配到的每个metric下的所有host进行求和，对每个metric的求和值进行检查，若某metric的总和值有异常，即触发告警
- 告警方式：开源版本仅支持curlmail的告警方式
- 告警接收组：告警方式是curlmail，这里填接收者的邮箱地址
- 生效时间：该配置项是此版本新增配置，表示该策略的生效时间，默认为当前时间，即立即生效。
- 最短告警间隔：该策略两次告警之间的最短间隔，这个值必须大于采集间隔，否则无意义
- 有效时间段：在当天有效时间段，在有效时间之外将不产生告警，不配置表示有效期为全天。比如上图配置，该配置仅在每天的上午九点到晚上七点生效
- 过滤项：该配置项是此版本新增配置，表示该策略配匹配到的所有metric的所有host中要过滤掉的host或者 metric，分别填写要过滤的metric和host即可，两者都支持通配符，后者还支持逗号分割。对于过滤掉的host不会进行检查，也不参与组合值 的计算。此配置支持通配符
阈值（Threshold）
阈值告警一般需要配置如下字段
- upBound, 上限
- downBound,下限
当前值小于等于下限或大于等于上限时告警
趋势（Trend）
趋势告警一般需要配置如下字段
- maxDiffRatio,当前值和预测值差异比例阈值。可以直观理解为指标突增/突降maxDiffRatio时告警。如果期望差异比例在20%以下，则配置为2
- minDiffValue, 当前值和预测值差异绝对值阈值。仅当差异比例大于等于maxDiffRatio，且差异绝对值大于等于minDiffValue时才会产生告警
引入minDiffValue的目的是防止上报值很小时，细微的波动都会导致差异比例超过阈值而产生告警，因此这里需要一个绝对值来约束。比如一台空闲机器的cpu平时在1~5之间波动，细微的波动都会导致100%以上的差异比例
可用性（Availability）：
可用性告警一般需要配置如下字段
- minHostNum, 上报metric的最小机器数
当上报metric的机器数小于minHostNum时告警；
奇异点（singularity）
奇异点告警一般需要配置如下字段
- maxDiffRatio,当前值和平均值差异比例阈值。可以直观理解为某台机器的当前值和均值差异比例超过maxDiffRatio时告警。如果期望所有机器当前值和均值差异在10%以下，则配置为1
- minDiffValue,当前值和平均值差异绝对值阈值。仅当差异比例大于等于maxDiffRatio，且差异绝对值大于等于minDiffValue时才会产生告警
上文中的平均值是同一metric下所有机器的当前值求和除机器数所得
环比（Cycle）：
- maxDiffRatio，当前值和历史值差异比例阈值。可以直观理解为当前值和历史同期值比例超过maxDiffRatio时告警。如果期望每周期的变化差异在05%以下，则配置为0.05
- minDiffValue，当前值和平均值差异绝对值阈值。仅当差异比例大于等于maxDiffRatio，且差异绝对值大于等于minDiffValue时才会产生告警
