通过Redis的Pub/Sub实现对服务器群的监控管理

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介:

需求:

为了准确监控每个服务器的内部状态,而且也不影响现有业务逻辑的情况,需要快速部署一个简单的

服务器集中监控系统。经过考虑,可以使用Redis的Pub/Sub功能来实现一个监控系统是非常好合适的。

当然我们也可以通这个来做批量的管理。



Pub/Sub 从字面上理解就是发布(Publish)与订阅(Subscribe),在Redis中,你可以设定对某一个key值

进行消息发布及消息订阅,当一个key值上进行了消息发布后,所有订阅它的客户端都会收到相应的消息。这一功能可以用作实时消息系统。


 
  1. 发布和订阅机制

  2.   当一个客户端通过 PUBLISH 命令向订阅者发送信息的时候,我们称这个客户端为发布者(publisher)。

  3.   而当一个客户端使用 SUBSCRIBE 或者 PSUBSCRIBE 命令接收信息的时候,我们称这个客户端为订阅者(subscriber)。

  4.   为了解耦发布者(publisher)和订阅者(subscriber)之间的关系,Redis 使用了 channel (频道)作为两者的中介 —— 发布者将信息直接发布给 channel ,而 channel 负责将信息发送给适当的订阅者,发布者和订阅者之间没有相互关系,也不知道对方的存在

下面这个图适合批量管理,每个客户端的服务器都要有个redis-cli ,安装redis自然就有了,然后定义sub ,在管理端就可以通过pub发布一些个指令,客户端收到后,可以执行,也可以做些相应别的操作。


011301699.jpg



下面这个适合监控,把自己的业务指标pub过去,服务端可以进行相应的处理, 可以是写到mysql里面,可以是和页面进行交互。

011737855.jpg


其实说白了,用socket也是可以实现的,但是redis已经是较成熟的产品,内部实现采用epoll封装,有多路复用特性,非阻塞IO,而且绝大部分请求是纯粹的内存操作。    有这些个特性,咱们没必要还费劲给socket写个并发异步的重构,逼近太麻烦了。

那咱们现在就搞吧~

这个是订阅者

011228358.jpg



这个是发布者

012629528.jpg


实现不间断的收集数据,可以用php的redis模块直接进行操作~~~~

但是直接用php对咱们来说,颇有点难度,可以先考虑用下shell  ~

google到了一些个资料,但是不能用起来不爽,在这里改了接收的判断和端口的重定向

redis-bash-cli

 
  1. #!/bin/bash

  2. source /usr/share/redis-bash/redis-bash-lib 2> /dev/null

  3. if [ $? -ne 0 ]; then

  4.  LIBFOLDER=${0%/${0##*/}}

  5.  source ${LIBFOLDER}/redis-bash-lib 2> /dev/null

  6. if [ $? -ne 0 ]; then

  7.    echo "can't find redis-bash-lib in /usr/share/redis-bash or ${LIBFOLDER}"

  8.    exit 127

  9.  fi

  10. fi

  11. REDISHOST=localhost

  12. REDISPORT=6379

  13. REPEAT=1

  14. DELAY=0

  15. while getopts ":h:n:p:r:a:i:" opt

  16. do

  17.    case ${opt} in

  18.        h) REDISHOST=${OPTARG};;

  19.        n) REDISDB=${OPTARG};;

  20.        p) REDISPORT=${OPTARG};;

  21.        r) REPEAT=${OPTARG};;

  22.        a) AUTH=${OPTARG};;

  23.        i) DELAY=${OPTARG};;

  24.    esac

  25. done

  26. shift $((${OPTIND} - 1))

  27. if [ "${REDISHOST}" != "" ] && [ "${REDISPORT}" != "" ]

  28. then

  29. exec6<>/dev/tcp/${REDISHOST}/${REDISPORT} # open fd

  30. if [ $? -ne 0 ]; then

  31.        exit 1

  32.    fi

  33. else

  34.    echo "Wrong arguments"

  35.    exit 255

  36. fi

  37. "${AUTH}" != "" ] && redis-client 6 AUTH ${AUTH} > /dev/null

  38. "${REDISDB}" != "" ] && redis-client 6 SELECT ${REDISDB} > /dev/null

  39. for ((z=1;z<=${REPEAT};z++))

  40. do

  41.    redis-client 6"${@}"

  42. if [ $? -ne 0 ]; then

  43.        exit 1

  44.    fi

  45.    [ ${DELAY} -gt 0 ] && sleep ${DELAY}

  46. done

  47. exec6>&- #close fd

redis-bash-lib

 
  1. #!/bin/bash

  2. function redis-client() {

  3. FD=${1}

  4.    shift;

  5.    if [ ${#} -ne 0 ]; then # always use unified protocol and let the server validate the number of parameters

  6.        local ARRAY=( "${@}" )

  7.        local CMD=("*$[${#ARRAY[@]}]")

  8.        local i=0

  9.        for ((i=0;i<${#ARRAY[@]};i++)); do

  10. CMD=( "${CMD[@]}" "\$${#ARRAY[${i}]}" "${ARRAY[${i}]}" )

  11.        done

  12.        printf "%s\r\n" "${CMD[@]}" >&${FD}

  13.    fi

  14.    local ARGV

  15.    read -r -u ${FD}

  16. REPLY=${REPLY:0:${#REPLY}-1}

  17.    case ${REPLY} in

  18.        -*|\$-*) # error message

  19.            echo "${REPLY:1}"

  20.            return 1;;

  21.        \$*) # message size

  22.            [ ${BASH_VERSINFO} -eq 3 ] && SIZEDELIM="n"

  23.            [ ${REPLY:1} -gt 0 ] && read -r -${SIZEDELIM:-N} $[${REPLY:1}+2] -u ${FD} # read again to get the value itself

  24. ARGV=( "${REPLY:0:$[${#REPLY}-$[${BASH_VERSINFO}-2]]}" );;

  25.        :*) # integer message

  26. ARGV=( "${REPLY:1}" );;

  27.        \**) # bulk reply - recursive based on number of messages

  28.            unset ARGV

  29.            for ((ARGC="${REPLY:1}";${ARGC}>0;ARGC--)); do

  30. ARGV=("${ARGV[@]}" $(redis-client ${FD}))

  31.            done;;

  32.        +*) # standard message

  33. ARGV=( "${REPLY:1}" );;

  34.        *) # wtf? just in case...

  35. ARGV=( "${ARGV[@]}" "${REPLY}" );;

  36.    esac

  37.    printf "%s\n" "${ARGV[@]}"

  38. }

redis-publish-test

 
  1. #!/bin/bash  

  2. source /usr/share/redis-bash/redis-bash-lib 2> /dev/null

  3. if [ $? -ne 0 ]; then

  4. LIBFOLDER=${0%/${0##*/}}

  5.  echo $LIBFOLDER

  6.  source ${LIBFOLDER}/redis-bash-lib 2> /dev/null

  7.  if [ $? -ne 0 ]; then

  8.    echo "can't find redis-bash-lib in /usr/share/redis-bash or ${LIBFOLDER}"

  9.    exit 127  

  10.  fi

  11. fi

  12. REDISHOST=localhost

  13. REDISPORT=6379

  14. while getopts ":h:p:" opt

  15. do

  16.    case ${opt} in

  17.        h) REDISHOST=${OPTARG};;

  18.        p) REDISPORT=${OPTARG};;

  19.    esac

  20. done

  21. shift $((${OPTIND} - 1))

  22. while true

  23. do

  24.    exec 5>&-

  25.    if [ "${REDISHOST}" != "" ] && [ "${REDISPORT}" != "" ]

  26.    then

  27.        exec 5<>/dev/tcp/${REDISHOST}/${REDISPORT} # open fd

  28.    else

  29.        echo "Wrong arguments"

  30.        exit 255

  31.    fi

  32.    redis-client 5 SUBSCRIBE ${1} > /dev/null # subscribe to the pubsub channel in fd 5

  33.    while true

  34.    do

  35.        unset ARGV

  36. OFS=${IFS};IFS=$'\n' # split the return correctly

  37. ARGV=($(redis-client 5))

  38. IFS=${OFS}

  39.        if [ "${ARGV[0]}" = "message" ] && [ "${ARGV[1]}" = "${1}" ]

  40.        then

  41.        echo ${ARGV[2]}

  42. a=${ARGV[2]}

  43.            echo $($a)

  44.            echo "Message from pubsub channel: ${ARGV[2]}"

  45.        elif [ -z ${ARGV} ]

  46.        then

  47.            sleep 1

  48.            break

  49.        fi

  50.    done

  51. done

这边是订阅者,大家会发现我在订阅者那边发布的信息,这边都接收了,而且执行了linux的命令

023551412.jpg

这边是发布者

023609190.jpg


下面是php的例子,在这里咱们可以把php当做脚本用。

首先是编译安装phpredis扩展,扩展的地址和api手册可见:https://github.com/nicolasff/phpredis


发布者

 
  1. $redis = new Redis();

  2. $redis->connect('127.0.0.1',6379);

  3. $channel = $argv[1];  // channel

  4. $msg = $argv[2]; // msg

  5. $redis->publish('channel'.$channel, $msg);


订阅者
 
  1. $redis = new Redis();

  2. $redis->connect('127.0.0.1',6379);

  3. $channel = $argv[1];  // channel

  4. $redis->subscribe(array('channel'.$channel), 'callback');

  5. function callback($instance, $channelName, $message) {

  6.  echo $channelName, "==>", $message,PHP_EOL;

  7. }


可以分别开三个终端窗口

在终端1中执行:

php redis-sub.php 1

在终端2中执行:
php redis-sub.php 2


在终端3中执行:

php redis-pub.php 1 hello


此时在终端1中可以打印出hello;

执行


php redis-pub.php 2 world

则在终端2中打印出world。




 本文转自 rfyiamcool 51CTO博客,原文链接:http://blog.51cto.com/rfyiamcool/1190543,如需转载请自行联系原作者


相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
2月前
|
弹性计算 运维 监控
ECS监控与管理
ECS监控与管理
36 5
|
2月前
|
弹性计算 Linux 网络安全
连接并管理ECS
连接并管理ECS
61 4
|
3月前
|
消息中间件 存储 NoSQL
深入Redis消息队列:Pub/Sub和Stream的对决【redis第六部分】
深入Redis消息队列:Pub/Sub和Stream的对决【redis第六部分】
75 0
|
3月前
|
NoSQL Redis Docker
在docker中安装redis,并且阿里云服务器配置
在docker中安装redis,并且阿里云服务器配置
190 1
|
1月前
|
存储 缓存 NoSQL
Redis 服务器指南:高性能内存数据库的完整使用指南
Redis 服务器指南:高性能内存数据库的完整使用指南
|
2月前
|
Shell Linux 网络安全
【Shell 命令集合 网络通讯 】Linux 管理Apache HTTP服务器 httpd命令 使用指南
【Shell 命令集合 网络通讯 】Linux 管理Apache HTTP服务器 httpd命令 使用指南
32 0
|
2月前
|
Shell Linux Apache
【Shell 命令集合 网络通讯 】Linux 管理Apache HTTP服务器 apachectl命令 使用教程
【Shell 命令集合 网络通讯 】Linux 管理Apache HTTP服务器 apachectl命令 使用教程
164 1
|
2月前
|
弹性计算 NoSQL 测试技术
倚天使用|Redis性能高30%,阿里云倚天ECS性能摸底和迁移实践
Redis在倚天ECS环境下与同规格的基于 x86 的 ECS 实例相比,Redis 部署在基于 Yitian 710 的 ECS 上可获得高达 30% 的吞吐量优势。成本方面基于倚天710的G8y实例售价比G7实例低23%,总性价比提高50%;按照相同算法,相对G8a,性价比为1.4倍左右。
137511 5
|
2月前
|
消息中间件 缓存 NoSQL
利用Redis实现高效缓存管理与加速
本文将探讨如何利用Redis作为缓存管理工具,通过深入分析Redis的特性、使用场景和优势,帮助开发人员更好地理解和应用Redis来提升系统性能和响应速度。
|
2月前
|
消息中间件 存储 NoSQL
【Redis项目实战】使用Springcloud整合Redis分布式锁+RabbitMQ技术实现高并发预约管理处理系统
【Redis项目实战】使用Springcloud整合Redis分布式锁+RabbitMQ技术实现高并发预约管理处理系统