Alibaba Cloud Provider

Alibaba Cloud Provider简介

CloudProvider 提供kubernetes与云厂商基础服务的对接能力，由 cloud-controller-manager组件实现。

通过这个组件，可以让用户在创建k8s LoadBalancer 类型的service的时候自动的为用户创建一个阿里云SLB，同时动态的绑定与解绑SLB后端，并且提供了丰富的配置允许用户自定义生成的LoadBalancer.

参考ReleaseNotes.

基本使用方式 cloudprovider通过service上的annotation来控制创建Type: LoadBalancer类型的service时的行为。一个基本的annotation示例如下：

apiVersion: v1
kind: Service
metadata:
  annotations:
    # 这里填写相应的annotation, 用例
    service.beta.kubernetes.io/alicloud-loadbalancer-id: lb-bp1hfycf39bbeb019pg7m
  name: nginx
  namespace: default
spec:
  ports:
  - name: web
    port: 443
    protocol: TCP
    targetPort: 443
  type: LoadBalancer

>> 注意事项：

• 如果您的集群的cloud-controller-manager版本大于等于v1.9.3，对于指定已有SLB的时候，系统默认不再为该SLB处理监听，用户需要手动配置该SLB的监听规则。

执行以下命令，可查看cloud-controller-manager的版本。

root@master # kubectl get po -n kube-system -o yaml|grep image:|grep cloud-con|uniq

image: registry-vpc.cn-....-controller-manager-amd64:v1.9.3

• 当您的集群cloudprovider不是最新版的时候，可能无法使用某些功能。参考如何手动升级CloudProvider。

创建LoadBalancer的正确姿势

前置条件。

• 一个可用的阿里云容器服务创建的集群。参考
• 如何通过kubectl 连接到集群。参考
• 创建一个普通的nginx应用。参考 ，后面的示例以改nginx应用为前提。

>> 注意

• 保存以下yaml为svc.1.yaml ， 然后使用 kubectl apply -f svc.1.yaml的方式来创建service.

1. 创建一个公网类型的负载均衡

apiVersion: v1
kind: Service
metadata:
  name: nginx
  namespace: default
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: LoadBalancer

2. 创建一个私网类型的负载均衡

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alicloud-loadbalancer-address-type: "intranet"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: LoadBalancer

3. 创建HTTP类型的负载均衡

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alicloud-loadbalancer-protocol-port: "http:80"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: LoadBalancer

4. 创建HTTPS类型的负载均衡

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alicloud-loadbalancer-protocol-port: "https:443"
    service.beta.kubernetes.io/alicloud-loadbalancer-cert-id: ${YOUR_CERT_ID}
  name: nginx
  namespace: default
spec:
  ports:
  - port: 443
    protocol: TCP
    targetPort: 443
  selector:
    run: nginx
  type: LoadBalancer

>> 说明：

• 创建https类型的负载均衡需要您提供一个证书ID，如果还没有证书，请前往SLB控制台创建一个。

5. 限制负载均衡的带宽。

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alicloud-loadbalancer-bandwidth: "100"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 443
    protocol: TCP
    targetPort: 443
  selector:
    run: nginx
  type: LoadBalancer

>> 说明：

• 只限制负载均衡的带宽。所有listener 共享该负载均衡的带宽。参考共享实例带宽

6. 指定负载均衡规格

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alicloud-loadbalancer-spec: "slb.s1.small"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 443
    protocol: TCP
    targetPort: 443
  selector:
    run: nginx
  type: LoadBalancer

7. 绑定已有的负载均衡到Service

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alicloud-loadbalancer-id: "${YOUR_LOADBALANCER_ID}"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 443
    protocol: TCP
    targetPort: 443
  selector:
    run: nginx
  type: LoadBalancer

>> 说明：

• 默认情况下，绑定已有SLB的时候CloudProvider只会为您的绑定和解绑SLB后端Server，不会处理监听。您需要指定service.beta.kubernetes.io/alicloud-loadbalancer-force-override-listeners: "true"来强制覆盖监听。注意这会删除您已有SLB上的非预期的监听。

8. 绑定已有负载均衡，并强制覆盖已有监听

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alicloud-loadbalancer-id: "${YOUR_LOADBALANCER_ID}"
    service.beta.kubernetes.io/alicloud-loadbalancer-force-override-listeners: "true"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 443
    protocol: TCP
    targetPort: 443
  selector:
    run: nginx
  type: LoadBalancer

9. 让SLB挂载具有指定label的worker节点作为后端server

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alicloud-loadbalancer-backend-label: "failure-domain.beta.kubernetes.io/zone:ap-southeast-5a"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 443
    protocol: TCP
    targetPort: 443
  selector:
    run: nginx
  type: LoadBalancer

>> 注意

• 多个label以逗号分隔。 "k1:v1,k2:v2"
• 多个label之间是and的语义。

10. 为TCP类型的SLB配置会话保持SessionSticky

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alicloud-loadbalancer-persistence-timeout: "1800"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 443
    protocol: TCP
    targetPort: 443
  selector:
    run: nginx
  type: LoadBalancer

>> 注意

• 该参数仅对TCP监听起作用。
• 如果service配置了多个TCP的监听端口，该会话保持默认应用到所有TCP监听端口

11. 为HTTP&HTTPS类型的SLB配置会话保持SessionSticky（insert cookie）

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alicloud-loadbalancer-sticky-session: "on"
    service.beta.kubernetes.io/alicloud-loadbalancer-sticky-session-type: "insert"
    service.beta.kubernetes.io/alicloud-loadbalancer-cookie-timeout: "1800"
    service.beta.kubernetes.io/alicloud-loadbalancer-protocol-port: "http:80"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: LoadBalancer

>> 注意

• 仅HTTP & HTTPS。
• 会话保持类型为insert，植入Cookie.
• 如果service配置了多个HTTP或者HTTPS的监听端口，该会话保持默认应用到所有HTTP&HTTPS监听端口

12. 为HTTP&HTTPS类型的SLB配置会话保持SessionSticky（server cookie）

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alicloud-loadbalancer-sticky-session: "on"
    service.beta.kubernetes.io/alicloud-loadbalancer-sticky-session-type: "server"
    service.beta.kubernetes.io/alicloud-loadbalancer-cookie: "${YOUR_COOKIE}"
    service.beta.kubernetes.io/alicloud-loadbalancer-protocol-port: "http:80"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: LoadBalancer

>> 注意

• 仅HTTP & HTTPS。
• 会话保持类型为server, 重写Cookie.
• 如果service配置了多个HTTP或者HTTPS的监听端口，该会话保持默认应用到所有HTTP&HTTPS监听端口

13. 创建的SLB时，指定其主备可用区

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alicloud-loadbalancer-master-zoneid: "ap-southeast-5a"
    service.beta.kubernetes.io/alicloud-loadbalancer-slave-zoneid: "ap-southeast-5a"
  name: nginx
  namespace: default
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: LoadBalancer

>> 注意

• 某些region的SLB不支持主备可用区，如ap-southeast-5
• 一旦创建，不支持修改主备可用区。

13. 指定SLB仅挂载Pod所在节点作为后端Server

apiVersion: v1
kind: Service
metadata:
  name: nginx
  namespace: default
spec:
  externalTrafficPolicy: Local
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: LoadBalancer

>> 注意

• 某些region的SLB不支持主备可用区，如ap-southeast-5
• 一旦创建，不支持修改主备可用区。

附件：可用的Annotation参数及其说明

>> 注意

• 所有的annotation均为字符类型，使用双引号括起来。