第341篇：VXLAN 流量负载不均案例分析

关键词：VXLAN、负载不均、Hash算法、ECMP、VNI、VTEP、华为CE系列

一、案例背景

某互联网企业数据中心采用VXLAN架构承载容器业务，Underlay使用BGP路由+ECMP实现多路径负载分担。近期发现Underlay链路的流量负载严重不均：部分链路的利用率超过80%，而其他链路利用率不足20%。

网络架构： - Spine层：4台CE6865，每台提供12×25GE至Leaf - Leaf层：8台CE6860，每台作为VTEP - VNI数量：约200个（每个容器子网一个VNI） - Underlay链路：48条25GE链路（Spine↔Leaf）

故障现象： - Spine-01到Leaf-03的4条25GE链路中，1条利用率达85%，其他3条利用率30-40% - 同一Spine的不同Leaf之间负载差异很大 - 某些VNI的流量长期集中在单一链路 - 高峰期部分链路出现丢包

二、需求分析与方案设计

2.1 VXLAN流量模型分析

2.2 负载不均根因

VXLAN流量负载不均的根本原因是Hash输入参数的局限性：

核心问题：当同一对VTEP之间有大量VNI通信时，如果Hash仅基于外层IP（VTEP地址），所有VNI的流量都会被Hash到同一条链路。

2.2.1 VXLAN报文封装结构详解

理解负载不均问题，必须先了解VXLAN报文封装后的Header变化：

关键观察： - 外层源/目的IP由VTEP决定，同VTEP对的IP始终相同 - 外层目的端口固定为4789 - 外层源端口虽可随机化，但部分实现使用固定端口 - VNI信息在VXLAN Header中，不在外层IP/UDP头部 - 如果使用外层3元组或5元组Hash，VNI信息完全不可见

2.3 Hash算法对VXLAN流量的影响矩阵

2.4 流量分析

# 查看链路利用率
<CE6865-Spine-01> display interface description
# 发现Eth-Trunk 10的4条成员链路负载不均

<CE6865-Spine-01> display eth-trunk 10
Eth-Trunk10 is up
  Member: HundredGigE1/0/1  up    utilization: 85%
  Member: HundredGigE1/0/2  up    utilization: 32%
  Member: HundredGigE1/0/3  up    utilization: 28%
  Member: HundredGigE1/0/4  up    utilization: 35%

# 查看NetStream统计
<CE6865-Spine-01> display netstream statistics interface HundredGigE 1/0/1 top 5
Source IP          Dest IP           Protocol   Packets     Bytes
10.255.1.1         10.255.3.1        UDP        15,234,567  1,024,567,890  <-- 单VTEP对
10.255.1.1         10.255.3.1        UDP        12,345,678  856,789,012    <-- 同一VTEP对

分析结果：超过60%的流量来自同一对VTEP（Leaf-A↔Leaf-B），且全部被Hash到同一条25GE链路。

三、技术细节与实施过程

3.1 Hash算法优化

华为CE系列交换机支持多种Hash算法配置：

# 查看当前Hash算法
<CE6865-Spine-01> display ip hash-algorithm
Hash Algorithm: three-tuple (源IP + 目的IP + 协议)

# 修改为包含VNI信息的Hash算法
<CE6865-Spine-01> system-view
[CE6865-Spine-01] ip hash-algorithm five-tuple  # 5元组Hash

# 更优方案：启用VXLAN感知Hash（包含VNI）
[CE6865-Spine-01] interface Eth-Trunk 10
[CE6865-Spine-01-Eth-Trunk10] load-sharing hash-algorithm vxlan-aware  # 包含VNI
[CE6865-Spine-01-Eth-Trunk10] quit

3.2 优化前后对比

3.3 其他优化手段

# 方案2：Per-Packet Load Balancing（小流量场景）
[CE6865-Spine-01] interface Eth-Trunk 10
[CE6865-Spine-01-Eth-Trunk10] load-sharing per-packet
[CE6865-Spine-01-Eth-Trunk10] quit

# 方案3：增加ECMP路径数
# 将Spine从4台增加到8台，提供8路ECMP
# （需要硬件扩容）

# 方案4：VNI到VTEP的映射优化
# 将流量集中的VNI分布到不同的VTEP上

3.4 排障流程总结

3.5 设备开销评估

启用VXLAN感知Hash会增加设备的Hash计算开销，需要评估CPU影响：

四、实战配置/案例分析

4.1 完整的VXLAN感知Hash配置

# Spine层配置
<CE6865-Spine-01> system-view
[Huawei] sysname CE6865-Spine-01

# 启用VXLAN感知Hash
[CE6865-Spine-01] ip hash-algorithm vxlan-five-tuple
[CE6865-Spine-01] vxlan
[CE6865-Spine-01-vxlan] hash-algorithm include-vni
[CE6865-Spine-01-vxlan] quit

# Eth-Trunk配置
[CE6865-Spine-01] interface Eth-Trunk 10
[CE6865-Spine-01-Eth-Trunk10] description To-Leaf-03
[CE6865-Spine-01-Eth-Trunk10] mode lacp-static
[CE6865-Spine-01-Eth-Trunk10] load-sharing hash-algorithm vxlan-aware
[CE6865-Spine-01-Eth-Trunk10] trunkport HundredGigE 1/0/1
[CE6865-Spine-01-Eth-Trunk10] trunkport HundredGigE 1/0/2
[CE6865-Spine-01-Eth-Trunk10] trunkport HundredGigE 1/0/3
[CE6865-Spine-01-Eth-Trunk10] trunkport HundredGigE 1/0/4
[CE6865-Spine-01-Eth-Trunk10] quit

# Underlay BGP ECMP配置
[CE6865-Spine-01] bgp 65100
[CE6865-Spine-01-bgp-65100] maximum-paths ecmp 8
[CE6865-Spine-01-bgp-65100] quit

4.2 Leaf层VXLAN配置

# Leaf层VTEP配置
<CE6860-Leaf-01> system-view
[CE6860-Leaf-01] vxlan vtep 10.255.1.1
[CE6860-Leaf-01-vtep-10.255.1.1] vxlan vni 100 interface Vlanif 100
[CE6860-Leaf-01-vtep-10.255.1.1] vxlan vni 101 interface Vlanif 101
[CE6860-Leaf-01-vtep-10.255.1.1] vxlan vni 102 interface Vlanif 102
[CE6860-Leaf-01-vtep-10.255.1.1] quit

4.3 流量分布验证

# 优化后查看链路利用率
<CE6865-Spine-01> display eth-trunk 10
Eth-Trunk10 is up
  Member: HundredGigE1/0/1  up    utilization: 52%
  Member: HundredGigE1/0/2  up    utilization: 48%
  Member: HundredGigE1/0/3  up    utilization: 50%
  Member: HundredGigE1/0/4  up    utilization: 51%

# NetStream验证VNI分布
<CE6865-Spine-01> display netstream statistics vxlan top-vni 10
VNI       Source VTEP    Dest VTEP      Packets     Bytes
100       10.255.1.1     10.255.3.1     2,345,678   160,000,000
101       10.255.1.1     10.255.3.1     1,234,567   84,000,000
102       10.255.1.1     10.255.3.1     987,654     67,000,000
# VNI流量现在分布到不同的链路上了

4.4 多VTEP对复杂场景分析

在实际生产环境中，VXLAN负载不均往往是多因素叠加的结果。下面是一个更复杂的多VTEP对案例分析：

场景描述：Leaf-01到Leaf-03之间有150个VNI的流量，同时Leaf-02到Leaf-04之间也有120个VNI的流量。观察发现Spine-01的两条链路过载，而Spine-02/03/04的链路空闲。

排查命令：

# 查看VXLAN隧道统计信息
<CE6865-Spine-01> display vxlan tunnel statistics
VXLAN Tunnel Statistics:
  Tunnel 10.255.1.1 -> 10.255.3.1:
    Packets: 25,678,901    Bytes: 1,890,000,000
    VNIs: 150
    Active Link: HundredGigE1/0/1 (100%)

  Tunnel 10.255.2.1 -> 10.255.4.1:
    Packets: 18,234,567    Bytes: 1,320,000,000
    VNIs: 120
    Active Link: HundredGigE1/0/1 (100%)

# 查看ECMP路由表
<CE6865-Spine-01> display ip routing-table protocol bgp verbose 10.255.3.1
Routing Table: BGPIP
Destination : 10.255.3.1/32
Preference  : 100
NextHop     : 10.0.1.3 (HundredGigE1/0/1)    weight: 25%
            : 10.0.2.3 (HundredGigE1/0/5)    weight: 25%
            : 10.0.3.3 (HundredGigE1/0/9)    weight: 25%
            : 10.0.4.3 (HundredGigE1/0/13)   weight: 25%
# ECMP路径存在，但Hash结果将所有流量打到同一条物理链路

根因：虽然ECMP有4条等价路径，但Hash算法未包含VNI信息，导致同一VTEP对的所有VNI流量被Hash到相同的路径。

修复验证：

# 切换Hash算法后重新验证
<CE6865-Spine-01> display vxlan tunnel statistics
VXLAN Tunnel Statistics:
  Tunnel 10.255.1.1 -> 10.255.3.1:
    Packets: 25,678,901    Bytes: 1,890,000,000
    VNIs: 150
    Active Link Distribution:
      HundredGigE1/0/1: 38%
      HundredGigE1/0/5: 26%
      HundredGigE1/0/9: 22%
      HundredGigE1/0/13: 14%
# VNI流量现在分散到4条链路

4.5 自动化监控脚本

#!/usr/bin/env python3
# vxlan_load_monitor.py - VXLAN负载均衡监控脚本
import paramiko
import json
from datetime import datetime

def check_vxlan_balance(hostname, username, password, eth_trunk="Eth-Trunk 10"):
    """检查指定Eth-Trunk的VXLAN负载分布"""
    ssh = paramiko.SSHClient()
    ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
    ssh.connect(hostname, username=username, password=password)

    # 获取Eth-Trunk成员利用率
    stdin, stdout, stderr = ssh.exec_command(f"display eth-trunk {eth_trunk}")
    trunk_output = stdout.read().decode()

    # 获取VXLAN隧道统计
    stdin, stdout, stderr = ssh.exec_command("display vxlan tunnel statistics")
    vxlan_output = stdout.read().decode()

    ssh.close()

    # 分析负载方差
    utilizations = []
    for line in trunk_output.split('\n'):
        if 'utilization:' in line:
            util = int(line.split('utilization:')[1].strip().replace('%', ''))
            utilizations.append(util)

    if utilizations:
        avg = sum(utilizations) / len(utilizations)
        variance = sum((u - avg) ** 2 for u in utilizations) / len(utilizations)
        max_diff = max(utilizations) - min(utilizations)

        status = "OK" if max_diff < 15 else "WARNING" if max_diff < 25 else "CRITICAL"

        return {
            "timestamp": datetime.now().isoformat(),
            "device": hostname,
            "eth_trunk": eth_trunk,
            "utilizations": utilizations,
            "average": round(avg, 1),
            "variance": round(variance, 2),
            "max_diff": max_diff,
            "status": status
        }

    return None

# 批量检查
devices = [
    ("10.0.1.1", "admin", "password123"),
    ("10.0.2.1", "admin", "password123"),
    ("10.0.3.1", "admin", "password123"),
    ("10.0.4.1", "admin", "password123"),
]

results = []
for host, user, pwd in devices:
    result = check_vxlan_balance(host, user, pwd)
    if result:
        results.append(result)
        print(f"{host}: {result['status']} (diff={result['max_diff']}%, avg={result['average']}%)")

# 输出JSON报告
with open("vxlan_balance_report.json", "w") as f:
    json.dump(results, f, indent=2)

五、经验总结

思考

1. Per-Packet Load Balancing虽然能解决负载不均问题，但为什么不适用于大流量/大数据包场景？
2. 如果Underlay使用ECMP但Hash算法不支持VNI感知，是否可以通过Overlay层的策略路由来优化流量分布？
3. 在SPINE-LEAF架构中，如果Spine和Leaf的比例不是1:1（如4:8或8:4），对负载分担有什么影响？

下篇预告：第342篇：DHCP 网络频繁中断的根因定位