解锁新姿势 |如何利用配置中心规范构建PaaS服务配置

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 在上一篇文章中,我们以MQ和ACM为例,讨论了如何借助配置中心对消息进行限流管理的场景。在本文中,我们继续以该场景为例,讲述如何以规范的配置命名格式来进行限流设置。

配置规范问题的产生

对于单一应用的单一属性配置而言,配置规范其实不是个问题。简单来讲,以下配置文件即可解决该问题,而不需要所谓配置规范问题。

//配置目录结构
--app
   |--src
      |--config
         |--application.properties

//配置内容
RCV_INTERVAL_TIME=20

然而,当针对某一分布式PaaS服务编写分布式规则的时候,作为PaaS服务提供方(而不是应用方)在设计配置时,会存在不少问题。以MQ 限流场景为例,将存在以下可能的问题:

  • 如何区分全局配置和局部应用配置:比如PaaS服务方在统一管控平台提供服务时,如何既有全局的规则配置,又能针对某个应用进行特殊配置。
  • 如何区分不同集群MQ服务:比如MQ1 Cluster和MQ2 Cluster的配置在保证配置命名统一的情况下,能有效被区分。
  • 如何针对不同的环境,如dev, test, staging, prod等,基于同一套配置中心进行环境隔离。

以上MQ限流场景需求可由以下图例简述。

显然,不恰当的配置命名规范将影响以上的配置的易用性。

接下来本文基于配置中心介绍这一方面的最佳实践。为了说明配置的命名规范,我们需要介绍一下这方面配置中心对应的配置结构组织的能力。

关于配置中心的一些配置结构功能说明

除了能对配置进行集中管理,订阅推送等能力,配置中心的配置结构化能力能帮助管理员大大简化不同应用复杂场景下的配置管理。

配置中心的配置结构能力说明:

配置中心的配置结构能力可从以下几个场景进行说明:

  • 租户隔离:配置中心针对不同用户或场景将配置进行隔离的能力。通过租户隔离,不同的配置在不同的租户可以重名,而且具有不同的鉴权机制。
  • 最小配置集合:配置中心如何将若干配置组合成一个配置集合。通过发布将不同配置放在一个最小配置集合来更改和发布,配置可以以类似事物的形式,统一发布,应用这样可以统一处理。其中,配置路径类似于一个文件路径或者网络域名的概念,使得不同配置集合之间拥有层级关系。
  • 具体配置的Key-Value形式:用户如何具体在配置中心中设置具体配置内容。

配置中心配置结构能力产品比较

为了进一步具像化说明,我们基于以下几个配置中心产品进行这方面的功能比较:

  • 阿里云 ACM: 阿里云应用配置管理,前身为Diamond,算是国内最早的配置中心产品。目前在Git上有不同开源版本,在阿里云上有商业版供使用。
  • Spring Cloud Config: Spring Cloud官方用于做配置中心的工具,主要是在Java Spring领域使用。
  • ZooKeeper: ZK其本身虽具备一部分配置中心能力,但是由于本身定位于分布式协调信息管理,因此只适合在应用规模不大的情况下做配置中心。鉴于其使用广大,因此也在这里用于比较一下。

以下是对比详细情况:

功能 ACM Spring Cloud Config ZooKeeper
租户级隔离 采用Namespace和Group双重隔离,其中不同Namespace需要不同AK/SK鉴权,Group则不需要 一个Git项目为一个租户 没有直接的租户隔离技术
最小配置集合 一个以DataID为标识的配置集为最小配置集合。配置集合没有路径概念,但是通过合理设计结合通配符查询,可以间接达到配置路径作用。 在Git项目中的配置文件为最小配置集合,没有配置路径概念。 Znode为最小配置集合,有配置路径概念。
配置Key-Value KV内容由用户自行在DataID下自由组装,可以以properties,json, XML等格式,不限制,管理页面提供校验功能。 通过Git项目中properties形势配置文件设置KV。 通过设置Znode的Value来进行KV设置,内容格式无限制。

通过以上内容可见,ACM在租户隔离和最小配置集合方面都有比较好的灵活性。以下内容我们介绍如何合理利用ACM的Namespace, Group, DataID等配置功能来设计一个合理配置结构来进行QoS限流策略。

基于配置中心的分布式服务的配置设计最佳实践

配置结构

为了满足MQ配置的功能性需求,结合ACM的特点,设计以下配置方法。

  • 对于不同环境的MQ配置,通过不同的Namespace进行隔离。如

    • ProdEnv 命名空间用于生产环境,TestEnv, DevEnv分别用于测试和开发环境。
    • 不同环境天然通过AK/SK来隔离,安全得到进一步加强。
  • 对于不同集群提供的MQ服务,可通过Group来进行区分,以进行配置隔离和简化访问形式。

    • 例如,对于专门为子部门核心交易部门服务的MQ集群,和为子部门交易类目部门服务的MQ集群,可通过Group来区分不同的全局配置。这样的好处在于,对于生产系统,所有应用采用同一(子)公司的AK/SK(或类似认证体系密钥),简化了部署的同时,不同集群的配置得到有效的隔离,简化了配置复杂性。

         DataID: mq.global.qos
         Group: Trading
      
         DataID: mq.global.qos
         Group: ProductCategory
  • 全局配置用全局统一DataID命配置项存放,

    • 其中,配置ID以mq开头,global表示全局配置,qos表示qos方面配置;Group可使用默认。

         DataID: mq.global.qos
         Group: Default_Group
  • 应用局部配置以相同前缀qos.*来命名ID,

    • 其中,配置ID以mq开头,app.[appname]表示需要重载的app配置项;Group可使用默认。

         DataID: mq.app.app1.qos
         Group: Default_Group
      
         DataID: mq.app.app2.qos
         Group: Default_Group
         

配置具体KV的设置

在很多配置中心产品中,如Appolo, ACM System Manager Parameter Store,每一个具体的配置是一个配置中心中的最小粒度管理单元。用户需要挨个在某个粒度下去设置配置的KV。但是在ACM中,并没有该限制。常用做法一般为两种:

  • 仿照以上配置中心,将每个key存在一个独特的DataID上,比如:

    • mq.global.qos.RCV_INTERVAL_TIME 设置为 50
    • mq.global.qos.MAX_THREAD 设置为 20
  • 将常用配置聚类成一个DataID,编辑成一个配置文件(配置不限,如Properties,Json,XML,等)

    • 如 mq.global.qos 设置为如下:

         //MQ 限流 QoS设置
         RCV_INTERVAL_TIME = 50
         MAX_THREAD = 20

      在实践中,我们发现第二种方法为更高效的方法。除了更好的灵活性以外,另外一个好处是多个配置同时在一次变更中发布,降低了性能开销的同时,理论上达到了变更批量变化的原子操作效果。

配置结构示意图

经过以上设计,最终配置结构示意图如下:

方案有点总结如下:

  • 不同环境通过Namespace来进行隔离,MQ配置项在不同Namespace可重复的同时,不同Namespace通过管理人员,程序AK/SK等权限设置得到隔离保护,配置项能统一的同时,各个环境间互不干扰。
  • 相同环境不同集群之间通过Group做隔离,既能保证不同集群下配置的统一性(如配置名不变,等),代码更加简单,又能在逻辑上将不同的集群配置做个里。
  • 通过最小配置集DataID的规范命名设置,各MQ客户端既可以方便的查找MQ Default全局配置,又能查找到自己对应的应用特殊配置。同时管理员通过在ACM Portal上通过前缀通配查找,能方便查找出所有MQ对应的所有规则,使管理变得简单。示例如下,

其他资料

关于更多ACM关于配置结构和命名规范的一些资料,请参见【ACM应用配置管理官方网站】及阿里云ACM官方文档【 配置变更风险管理】。

相关实践学习
RocketMQ一站式入门使用
从源码编译、部署broker、部署namesrv,使用java客户端首发消息等一站式入门RocketMQ。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
6月前
|
存储 运维 安全
简化管理与提高效率:深入了解配置中心
在现代软件开发中,配置管理是至关重要的一环。随着应用程序规模的增长和多环境部署的需求,有效地管理配置变得越来越复杂。这时,配置中心成为了一个不可或缺的工具。在本文中,我们将深入探讨配置中心的概念、优势以及如何使用它来简化配置管理,提高开发和运维效率。
|
1月前
|
监控 安全 数据处理
了解阿里云 RPA:如何实现流程自动化
机器人流程自动化(RPA)是一种快速发展的技术,它可以帮助企业实现重复性任务的自动化,提高工作效率和准确性。阿里云 RPA 作为一款强大的 RPA 解决方案,为用户提供了一种简单而高效的方式来实现流程自动化。本文将介绍阿里云 RPA 的功能和特点,以及如何使用它来实现流程自动化。
|
6月前
|
存储 JavaScript 前端开发
SAP 电商云的构建过程中涉及到的三种不同环境类型
SAP 电商云的构建过程中涉及到的三种不同环境类型
40 0
|
6月前
|
缓存 运维 jenkins
上线操作规范——基础版本
最近团队成员的上线操作让人头疼。几个特别突出的问题: 1、上线准备不足,设计文档中没有体现、也没有考虑到可能的资源依赖,导致临操作了才想起来做资源申请; 2、暗箱操作... 一再要求上线时需要在群内周知,以便前后端、测试、产品共同配合完成,但依然不加理会,总是要主动询问才回复已操作; 3、发布完成就认为上线完成,有时甚至不做基本的校验...
121 0
|
10月前
|
XML 数据格式
如何使用流程 中的 DataObject 并为流程设置租户
如何使用流程 中的 DataObject 并为流程设置租户
|
10月前
|
测试技术 数据安全/隐私保护
Sonic 开源移动端云真机测试平台 - 用例编写与回放流程实例演示,任务定时执行、图像相似度定位、公共步骤、公共参数、测试套件等(上)
Sonic 开源移动端云真机测试平台 - 用例编写与回放流程实例演示,任务定时执行、图像相似度定位、公共步骤、公共参数、测试套件等
502 0
|
10月前
|
测试技术
Sonic 开源移动端云真机测试平台 - 用例编写与回放流程实例演示,任务定时执行、图像相似度定位、公共步骤、公共参数、测试套件等(下)
Sonic 开源移动端云真机测试平台 - 用例编写与回放流程实例演示,任务定时执行、图像相似度定位、公共步骤、公共参数、测试套件等(下)
180 0
|
10月前
|
测试技术 数据安全/隐私保护 索引
DAO社区治理系统模式开发规则详情 | DAO社区治理系统开发源码示例(Python语言版)
DAO(Data Access Object)社区治理模式是一种去中心化的社区治理模式,它将权力下放到社区中,让社区成员自主决策、自我管理,从而实现社区的自主治理。在DAO社区治理模式中,权力下放到社区中,社区成员可以自由地发表自己的意见和建议,并且能够直接参与到社区的决策过程中。
|
缓存 算法 前端开发
协同文档工作机制简介
随着在线办公的兴起,传统办公套件 Office 的在线化需求也随之增加。钉钉文档作为钉钉核心办公套件之一,上线已经三年,其间持续迭代,已成为一个极其复杂的产品。对前端工程师而言,协同文档是一个较为有挑战的领域,除了传统天坑富文本编辑器外,还引入了协同编辑这一挑战,钉钉文档甚至还支持专业排版能力。 来自钉钉的前端技术专家本杰,就在第十六届D2前端技术论坛进行了分享,本次分享以钉钉文档为例,简述协同文档的工作机制。
609 0
协同文档工作机制简介

相关产品

  • 云消息队列 MQ
  • 云消息队列 Kafka 版
  • 微服务引擎