四、运维经验总结

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介:
1、自动化管理
  • CMDB管理所有的资源信息。
  • Agent方式上报硬软件信息。
  • 标准化基础设置。机型、OS内核参数、软件版本。
  • Puppet管理和下发标准化的配置文件、公用的任务计划、软件包、运维工具。
  • 资源申请自助服务。

2、自动化监控
  • zabbix作为主要的监控数据收集工具。
  • 开发实时性能dashboard,对开发提供查询。
  • 单机部署多个redis,借助于zabbix discovery。
  • 开发DB响应时间监控工具Titan。
  • 基本思想来源于pt-query-degest,通过分析tcp应答报文产生日志。flume agent + kafka收集,spark实时计算,hbase作为存储。最终得到hotquery/slowquery,request source等性能数据。

3、自动化运维
  • 资源申请自助服务化。
  • 如果申请合理,一键即可完成cluster集群部署。
    能不动手的,就坚决不动手,另外,监控数据对开发开发很重要,让他们了解自己服务性能,有时候开发会更早发现集群的一些异常行为,比如数据不过期这种问题,运维就讲这么多了,后面是干货中的干货,由deep同学开发的几个实用工具。

4、redis开源工具介绍 4.1 redis实时数据迁移工具
1) 在线实时迁移
2) redis/twemproxy/cluster 异构集群之间相互迁移。
3)github: https://github.com/vipshop/redis-migrate-tool  

4.2 redis cluster管理工具
1)批量更改集群参数
2)clusterrebalance
3)很多功能,具体看github :
https://github.com/deep011/redis-cluster-tool

4.3 多线程版本Twemproxy
1)大幅度提升单个proxy的吞吐量,线程数可配置。
2)压测情况下,20线程达到50w+qps,最优6线程达到29w。
3)完全兼容twemproxy。
4)github:
https://github.com/vipshop/twemproxies

4.4 在开发的中的多线redis
1)Github:
https://github.com/vipshop/vire
2)欢迎一起参与协作开发,这是我们在开发中的项目,希望大家能够提出好的意见。

问答(陈群和申政解答): 问题1:版本更新,对数据有没有影响?
答:我们重启升级从2.8.17到3.0.3/3.0.7没有任何的异常。3.0到3.2我们目前还没有实际升级操作过。

问题2:请问下sentinel模式下有什么好的读写分离的方法吗
答:我们没有读写分离的使用,读写都在maste;集群太多,管理复杂;此外,我们也做了分片,没有做读写分离的必要;且我们几乎是一主一从节点配置

问题3:redis的fork主要是为了rdb吧,去掉是为了什么呢
答:fork不友好

问题4:如果不用fork,是怎么保证rdb快照是精确的,有其他cow机制么
答:可以通过其他方法,这个还在探究阶段,但目标是不用fork

问题5:就是redis cluster模式下批量操作会有很多问题,可是不批量操作又会降低业务系统的性能
答:确实存在这方面的问题,这方面支持需要客户端的支持,但是jedis的作者也不大愿意支持pipeline或者一些multi key操作。如果是大批量的操作,可以用多线程提高客户端的吞吐量。





本文作者:geelou
本文来自云栖社区合作伙伴rediscn,了解相关信息可以关注redis.cn网站。
相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
9月前
|
运维
运维的下一个十年
经常听到搞运维的同学说,运维没前途。可我不这么看。
31 0
|
运维
分享一些个人总结的阿里云产品使用和运维的经验
个人最近三年阿里云使用和运维经验的总结分享。年底我终于把它写成了一个文档,希望分享给大家。我做的都是基础的运维,没什么高深的内容。可能还会有错误,请大家批评指正!
344 0
|
运维 监控 持续交付
腾讯蓝鲸智云运维平台单机版本部署实践
腾讯蓝鲸智云运维平台单机版本部署实践
996 0
腾讯蓝鲸智云运维平台单机版本部署实践
|
运维 监控 Cloud Native
GOPS 全球运维大会 | 阿里云网络自动化运维体系落地实践分享
GOPS 全球运维大会 | 阿里云网络自动化运维体系落地实践分享
GOPS 全球运维大会 | 阿里云网络自动化运维体系落地实践分享
|
人工智能 运维 监控
8 年产品经验,我总结了这些持续高效研发实践经验 · 研发篇
在产研全链路流程上,协同最大的目标就是团队信息的透明化,即在清晰目标的指引下进行团队信息透明的日常研发工作,助力项目/产品成功发布。基于此,研发过程是否行之有效就成为我们关注的另一重点要素。通常「研发过程」是指:代码到制品再到部署上线的全链路,这个过程是持续集成的重中之重。
403 0
8 年产品经验,我总结了这些持续高效研发实践经验 · 研发篇
|
弹性计算 运维 监控
ADmobile首席架构师王威:广告业务云上运维最佳实践
ADmobile借助阿里云提供的弹性伸缩组,通过设置自定义监控指标进行弹性的扩缩容,应对广告业务的激增流量。
ADmobile首席架构师王威:广告业务云上运维最佳实践
|
开发框架 运维 监控
映客高级技术总监黄继:7天从开发到上线,云上高效运维实践与探索
2021云栖大会上,映客高级技术总监黄继为大家阐述映客团队如何在较短时间内快速完成业务的开发,同时还要保障业务上线后的稳定运行、快速扩展、访问质量和数据化运营等方面的经验。
映客高级技术总监黄继:7天从开发到上线,云上高效运维实践与探索
|
运维 算法 知识图谱
运维人必看!《应用智能运维实践》十年运维人的经验总结
新一代信息技术在赋能数字信息系统应用数据处理、智能决策支持和态势感知等能力以大幅度提升企业生产力的同时,系统自身复杂度急剧上升,应用运维难度和成本快速增加,如何规划运维系统则考验着一个运维工程师的综合能力。
16393 0
运维人必看!《应用智能运维实践》十年运维人的经验总结
|
人工智能 物联网 中间件
阿里P9大佬:优秀工程师必备的8大能力!
优秀工程师必备的8大能力,你解锁了吗?
1537 0
|
云安全 运维 安全
《安全说道》第二期|“三板斧”助你轻松搞定云上企业安全运维
一系列的安全问题,让云上安全运维像是一位带着面纱的姑娘一样看不清、摸不透;更让我们不知道该如何与她相处,保护好她。今天我们依然不谈理想,只讲干货,一键点击观看节目,为你答疑解惑,拨开云雾见晴天!
2010 0