第262篇：数据中心互联（DCI）方案：VXLAN over WAN
关键词：DCI、数据中心互联、VXLAN over WAN、SD-WAN、广域网优化、延迟、带宽
一、引言
随着企业数字化转型的深入，单一数据中心已无法满足业务的高可用性、弹性和规模需求。同城双活、异地灾备、多云互联等场景要求数据中心之间建立高速、可靠、灵活的互联通道，这就是DCI（Data Center Interconnect）。
DCI的核心挑战在于：如何在广域网（WAN）的物理限制（延迟、带宽、抖动）下，构建满足数据中心业务需求的互联通道。VXLAN over WAN作为Overlay方案，将数据中心的VXLAN网络延伸至远端，成为DCI的主流选择之一。
二、核心概念
2.1 DCI 的业务需求
| 业务场景 | 延迟要求 | 带宽要求 | 可靠性要求 |
|---|---|---|---|
| 同步复制（存储） | < 2ms | 10Gbps+ | 99.999% |
| 数据库集群（双活） | < 5ms | 1Gbps+ | 99.99% |
| 应用级灾备 | < 20ms | 100Mbps+ | 99.9% |
| 冷备份 | < 100ms | 按需 | 99% |
| 多云互联 | < 50ms | 按需 | 99% |
2.2 DCI 组网方案对比
2.3 VXLAN over WAN 架构
VXLAN over WAN的核心架构： - 近端VTEP：部署在本地数据中心的Leaf/Spine交换机 - 远端VTEP：部署在远端数据中心的Leaf/Spine交换机 - WAN链路：IP专线、MPLS线路、Internet（配合SD-WAN） - Overlay隧道：VXLAN隧道跨越WAN链路
关键挑战：
| 挑战 | 影响 | 缓解措施 |
|---|---|---|
| WAN延迟 | 增加端到端延迟 | 限制跨DC流量类型 |
| WAN带宽有限 | 拥塞导致丢包 | QoS保障、流量整形 |
| WAN抖动 | TCP性能下降 | TCP优化、FEC前向纠错 |
| 安全性 | 公网传输风险 | IPsec加密 |
三、技术细节
3.1 DCI 延迟对业务的影响
VXLAN over WAN的延迟直接影响业务体验：
| 延迟范围 | 存储同步复制 | 数据库双活 | 应用级灾备 | 适合的业务 |
|---|---|---|---|---|
| < 1ms | 优 | 优 | 优 | 所有业务 |
| 1-5ms | 优 | 优 | 优 | 所有业务 |
| 5-10ms | 一般 | 优 | 优 | 应用级双活 |
| 10-50ms | 不可用 | 一般 | 优 | 灾备/备份 |
| > 50ms | 不可用 | 不可用 | 一般 | 冷备/多云 |
3.2 VXLAN over WAN 的优化技术
优化手段一：MTU调整
WAN链路的MTU通常小于数据中心内部（VXLAN封装增加约50字节），需要适当调整：
# 在VTEP上配置Jumbo Frame
interface 100GE1/0/48
description To-WAN
undo negotiation auto
speed 10000
duplex auto
#
# 配置VXLAN MTU
vxlan vni 10001
mtu 8950
优化手段二：UDP Checksum
在WAN场景下，建议启用VXLAN UDP Checksum，确保数据完整性：
# 启用VXLAN UDP Checksum
interface Vxlan1
vxlan udp-checksum enable
优化手段三：BFD for VXLAN
部署BFD实现VXLAN隧道快速故障检测：
# 配置BFD for VXLAN Tunnel
bfd 1 bind peer-ip 10.100.1.1 source-ip 10.255.1.1
discriminator local 1
discriminator remote 1
min-tx-interval 100
min-rx-interval 100
detect-multiplier 3
commit
3.3 SD-WAN 与 VXLAN over WAN
当使用Internet作为WAN传输通道时，SD-WAN提供链路聚合、智能选路和QoS保障：
| SD-WAN能力 | VXLAN over WAN价值 |
|---|---|
| 多链路聚合 | 增加可用带宽 |
| 智能选路 | 选择最优链路（低延迟/低丢包） |
| FEC前向纠错 | 补偿丢包，提升TCP性能 |
| 应用识别 | 关键业务优先转发 |
| IPsec加密 | 保障公网传输安全 |
四、实战配置/案例分析
4.1 华为CloudEngine DCI VXLAN 配置
# DC1 VTEP DCI配置
sysname DC1-VTEP-01
#
# 配置VTEP源地址
interface LoopBack0
ip address 10.255.1.1 255.255.255.255
#
# 配置VXLAN隧道（远端VTEP在DC2）
interface Vxlan1
vxlan mode static
vxlan source 10.255.1.1
# 远端DC2的VTEP地址（通过WAN可达）
vxlan destination 10.100.1.1 vni 20001
vxlan destination 10.100.2.1 vni 20001
#
vxlan vni 20001
segment-id 20001
learning enable
vlan 2001
#
# 配置WAN接口的MTU
interface 10GE1/0/48
description To-WAN-Link
ip address 10.50.1.2 255.255.255.252
#
# 配置到DC2的路由
ip route-static 10.100.0.0 16 10.50.1.1
4.2 故障案例：跨DC延迟导致存储同步复制中断
现象：某企业部署了同城双活数据中心（DC1和DC2），存储同步复制链路使用VXLAN over WAN。当业务高峰期出现存储同步延迟告警，最终导致同步复制中断。
排查过程：
# 检查VXLAN隧道延迟
display vxlan interface Vxlan1
# 测量VTEP间延迟
ping -a 10.255.1.1 10.100.1.1
# 平均延迟从2ms增加到15ms
# 检查WAN链路质量
display interface 10GE1/0/48 statistics error
# 大量CRC错误，丢包率3%
# 检查光模块
display transceiver interface 10GE1/0/48 verbose
# 光功率正常
根因：运营商WAN链路在业务高峰期出现拥塞，延迟从2ms增加到15ms，丢包率达3%。存储同步复制的延迟阈值通常为5ms，超过阈值后存储设备主动中断同步复制以保护数据一致性。
解决： 1. 与运营商协商提升WAN链路的QoS保障等级 2. 部署SD-WAN，增加备用链路（如5G链路） 3. 在存储层面调整为异步复制模式（容忍更高延迟） 4. 在VXLAN隧道上启用UDP Checksum和BFD，提升链路质量监测能力
五、总结
| DCI方案 | 延迟 | 带宽 | 成本 | 适用场景 |
|---|---|---|---|---|
| 直连暗光纤 | 最低 | 最高 | 最高 | 同城超短距离 |
| DWDM波分 | 低 | 高 | 高 | 同城/近城 |
| MPLS专线 | 中 | 中 | 中 | 跨城 |
| VXLAN over MPLS | 中 | 中 | 中 | 灵活Overlay需求 |
| VXLAN over Internet+SD-WAN | 高 | 可变 | 低 | 多云/低成本场景 |
| VXLAN over WAN优化 | 说明 |
|---|---|
| MTU调整 | 适配WAN MTU限制 |
| UDP Checksum | 保障数据传输完整性 |
| BFD快速检测 | 加速故障发现 |
| SD-WAN智能选路 | 多链路冗余与优化 |
| QoS保障 | 关键业务优先级转发 |
思考
- VXLAN over WAN使用UDP 4789端口，如果中间网络设备（防火墙/ACL）拦截了4789端口，VXLAN隧道会怎样？
- 跨DC VXLAN的MTU应该如何规划？为什么数据中心内部通常使用Jumbo Frame（9000字节）？
- 如果两个DC之间的WAN链路时延差异很大（如一条专线2ms、一条Internet 50ms），VXLAN ECMP负载均衡会带来什么问题？
下篇预告：第263篇：DCI 光传输基础：DWDM 与波分复用