腾讯云负载均衡CLB高可靠高性能背后架构

Posted on 2022年4月15日

腾讯云负载均衡CLB高可靠、高性能背后架构

前言

腾讯云负载均衡（Cloud LoadBalancer），简称CLB, 负载均衡通过设置虚拟服务地址（VIP）将来自客户端的请求按照指定方式分发到其关联的多台后端云服务器，服务器将请求的响应返回给负载均衡器，负载均衡再将响应发送到用户，这样就向互联网用户隐藏了内网结构，阻止了用户直接访问后端云服务器，使得服务器更加安全，可以阻止对核心网络栈和运行在其它端口服务的攻击。

通过其作用可以看出负载均衡作为整个服务的网关入口，那么保证其服务在高性能的前提下既稳定又可靠显得至关重要。本文为大家介绍一下腾讯云公网负载均衡高可靠，高性能的背后做了哪些事。

腾讯云负载均衡基础架构

多级容灾的架构，实现高可靠

首先对负载均衡对流量转发有个大致的认识，如图1客户端发起请求来访问负载均衡提供的公网VIP，CLB再根据指定的方式通过内网转发给后端的服务器。

在CLB的技术架构图出来前，大家可以想象一下，对于转发设备最关键的要有交换机和路由器，以及真正的转发机器，那么交换机和路由器如何部署才能有更高的可靠性呢，转发机器以怎样的结构组合才能带来高性能呢，简单的串行网络架构必然存在单点故障，其作为关键路径在出现故障时，对整个服务来讲是致命的，所以多交换机部署，转发机器集群方式部署势在必行。如图2左所示，在单机房得交换机和转发机器的部署情况如下，其中LD为转发机器，以下4台机器为一个集群，从图中可以看到，当某个设备发生故障，通过OSPF路由协议来快速侦测故障设备，进而秒级剔除相关设备，一个集群中多个LD对长连接进行同步，当其中LD挂了之后，请求落在另外一台LD上，对于用户来讲请求还是无损。从架构上也可以看出交换机层面的容灾，而不同的交换机部署在不同的机架位，实现了机架层面的容灾，当LD发生故障时，快速剔除故障转发机器，并能够自动添加备用的机器，快速的补齐性能损耗。

从单机房的介绍来看，还未有多机房的容灾能力，该能力对于云厂商来讲也是必不可少的，IDC A 和IDC B会配置相同的VIP等相关信息，BGP A 和BGP B出口通过配置不同的COST 值来确定主备，当某个IDC 出现了故障，那么自动调整COST值进行切换，可以在秒级实现不同IDC间容灾能力。以上即为多级容灾的架构。

从架构上实现了高可靠。

数据流转发方式，满足多种网络结构

公网负载均衡当前支持的协议主要有TCP、UDP、HTTP、HTTPS，对于四层和七层的协议，转发的方式和结构不一样，腾讯云的云主机从之前的基础网络逐步向私有网络过渡，为了满足多种网络结构，CLB的数据转发方式如图3所示：

对于HTTP、HTTPS协议的支持情况，四层集群下面还会有一层七层集群，基于NGINX开源项目来做的七层转发，具体与后端CVM的通信方式一致，对于物理网络的机器，转发到母机的数据包格式是IPIP包，经母机上的KO进行解包，并将解封的IP包转给后端的CVM，对于私有网络的CVM，封包格式为GRE包，对应的母机上依赖于VPC.KO来解包，从CVM上可以观察到收到的IP包的中SourceIP 段无论是四层还是七层都是真实的来源IP，其实就是在封包的时候，将真实的客户端IP封装到了IPIP包或者GRE包中，从而满足用户获取真实来源IP的诉求。

五大关键功能

强大过载保护功能，保证数据整体安全

当前集群本身的性能在未引入DPDK版本之前，单机的可以达到160万PPS，连接数1.2个亿，入带宽可以到达10Gbps，当真实数据超过最大能力之后，为了不发生雪崩故障，集群的自我保护能力就显得极为重要，最小程度上减小对客户带来的影响。如图，内核中的管理模块tvsadm会周期的去拉取统计数据，当全局统计数据接近了警戒高水位(后台配置例如不能超过最大性能的70%)，那么此时就会开启QOS能力，给规则设定一个配额，然后根据令牌桶算法进行配额限速，将整理的数据保持在安全范围之内，直到整体数据趋于安全。

抗DDoS大规模攻击，强力保护后端安全

当有大量synflood攻击时，由于后端母机的连接池资源有限制，而且后端CVM本身的性能也不固定，所以在有大量DDoS攻击时不能直接透传给后端服务器，此时CLB会暂时代理TCP连接，知道三次握手真正完成客户端发来数据后，才与后端CVM进行真正的交互。

而CLB本身资源也是有限制的，此时就不能全部代理半连接的握手，具体方式即通过LRU淘汰机制来实现半连接队列的维护。可能有一个疑问，当有更大量的DDoS攻击来了之后，将如何应对呢？这个时候公司级抗DDoS攻击平台此时就会大显身手了，大禹系统，对DDoS攻击进行识别清洗，当过大对平台造成影响时会封堵该VIP。维护半连接队列的算法流程如下图所示：