LVS高并发负载均衡深度剖析：DR、TUN、NAT模型全解-CSDN博客

本文链接：https://blog.csdn.net/weixin_39863120/article/details/149332450

LVS高并发负载均衡深度剖析：DR、TUN、NAT模型全解

1. LVS整体架构与核心机制

1.1 LVS的定位

LVS（Linux Virtual Server）基于内核的四层（L4）负载均衡，核心是 IPVS（IP Virtual Server）内核模块。它工作于TCP/UDP协议栈之上，负责把目标为VIP的流量分发到后端Real Server（RS）。

1.2 核心数据结构

ip_vs_service：负载均衡的服务条目，定义VIP、端口、协议、调度器等。
ip_vs_dest：真实服务器条目，包括RS的IP、权重、健康状态等。
ip_vs_conn：连接条目，跟踪客户端、VIP、RS三元组，维持会话一致性。
调度器（ip_vs_scheduler）：定义分发算法（如RR、LC、WLC、SH、DH等）。

速记口诀
服务-目标-连接，调度-分发-跟踪。

2. 三大模型详细流程与原理

2.1 DR（Direct Routing）

2.1.1 工作原理

请求路径：客户端发包至VIP，Director收到后，将目标MAC改为RS的MAC后直接转发（L2包头变，L3不变）。
响应路径：RS直接把包回给Client（源IP为VIP，目标为Client），不经过Director。

2.1.2 报文改写与协议栈变化

Director：仅修改目标MAC，IP/端口/数据不变，避免额外负载。
RS：须在lo接口绑定VIP，并关闭ARP应答（防止ARP冲突）。

2.1.3 源码核心逻辑

// ip_vs_dr_xmit.c
int ip_vs_dr_xmit(struct sk_buff *skb, struct ip_vs_conn *cp)
{
    // 1. 获取RS的MAC
    struct ethhdr *eth = eth_hdr(skb);
    memcpy(eth->h_dest, cp->dest->mac_addr, ETH_ALEN);
    // 2. 发送到RS
    return dev_queue_xmit(skb);
}

2.1.4 优缺点与适用场景

优点	缺点
Director仅处理入流量，扩展性极高	RS与Director需同网段，不适合跨IDC
响应流量直接回客户端，无流量瓶颈	VIP配置复杂，需特殊ARP设置
支持百万级并发	不支持云服务器（VIP无法绑定）

2.1.5 DR模式架构图

2.2 TUN（IP Tunneling）

2.2.1 工作原理

请求路径：Director收到VIP包，将整个IP包用IPIP协议再次封装，目标为RS的真实IP。
RS解封装后：处理内部包（目的VIP），直接回包到Client。

2.2.2 报文变化

Director：在原IP包外加一层IP头（协议号4），实现跨网段转发。
RS：需支持IPIP隧道协议，解封装获得原包。

2.2.3 源码核心逻辑

// ip_vs_tunnel_xmit.c
int ip_vs_tunnel_xmit(struct sk_buff *skb, struct ip_vs_conn *cp)
{
    // 1. 用IPIP封装
    ipip_hdr = ipip_encap(skb, cp->dest->addr);
    // 2. 通过IPIP转发
    return ip_send_skb(cp->dest->dev, skb);
}

2.2.4 优缺点与适用场景

优点	缺点
支持RS跨网段/跨IDC/云混合	RS需支持IPIP，某些云平台不支持
响应流量直达，Director无瓶颈	IPIP可能被拦截，MTU易碎片
部署灵活，适合大型分布式	配置复杂，排障难度大

2.3 NAT（Network Address Translation）

2.3.1 工作原理

请求路径：Director对目的IP做DNAT，将VIP改为RS的IP，再发给RS。
响应路径：RS回包到Director，Director再做SNAT，将源IP改为VIP后回给Client。

2.3.2 报文变化

Director：双向改写IP，维护连接跟踪，负载较高。
RS：仅需访问Director，无需配置VIP。

2.3.3 源码核心逻辑

// ip_vs_nat_xmit.c
int ip_vs_nat_xmit(struct sk_buff *skb, struct ip_vs_conn *cp)
{
    // 1. 改目标IP为RS
    ip_hdr(skb)->daddr = cp->dest->addr;
    // 2. 重新计算校验和
    ip_send_check(ip_hdr(skb));
    // 3. 发送
    return ip_local_out(skb);
}

2.3.4 优缺点与适用场景

优点	缺点
部署简单，兼容性强	Director单点瓶颈，双向流量压力大
适合小规模、内网	不适合高带宽/高并发场景

3. LVS核心调度算法机制

3.1 常用算法原理

RR（轮询）：顺序分配请求，简单高效。
WRR（加权轮询）：按权重分配，适合RS性能不均。
LC（最小连接）：优先分配连接数最少的RS，适合连接时长差异大场景。
WLC（加权最小连接）：结合权重与最小连接。
SH（源地址哈希）：同源IP始终分配到同一RS，实现会话保持。
DH（目标地址哈希）：适合Cache、CDN等场景。

3.2 源码注释

// 以最小连接为例
struct ip_vs_dest *ip_vs_lc_schedule(struct ip_vs_service *svc)
{
    struct ip_vs_dest *dest, *least = NULL;
    int min_conn = INT_MAX;
    list_for_each_entry(dest, &svc->destinations, n_list) {
        if (dest->activeconns < min_conn && dest->weight > 0) {
            min_conn = dest->activeconns;
            least = dest;
        }
    }
    return least;
}