第267篇：存储网络基础：FC-SAN 与 IP-SAN（iSCSI）
关键词：SAN、FC-SAN、IP-SAN、iSCSI、FCoE、存储网络架构、块存储
一、引言
存储网络是企业数据中心的核心基础设施之一。随着虚拟化、云存储和分布式存储的发展，存储网络经历了从直连（DAS）到网络附加（NAS），再到存储区域网络（SAN）的演进。
SAN（Storage Area Network）作为专用的块存储网络，提供了低延迟、高吞吐和可靠的数据传输能力。FC-SAN（Fibre Channel SAN）和IP-SAN（iSCSI SAN）是SAN的两大主流技术路线，各有其适用场景和技术特点。
二、核心概念
2.1 存储架构演进
| 架构 | 全称 | 特点 | 适用场景 |
|---|---|---|---|
| DAS | Direct Attached Storage | 直连、简单 | 单机存储 |
| NAS | Network Attached Storage | 文件级、共享 | 文件共享 |
| SAN | Storage Area Network | 块级、高性能 | 数据库/虚拟化 |
| 对象存储 | Object Storage | 海量、分布式 | 云存储/备份 |
2.2 FC-SAN 架构
FC-SAN基于Fibre Channel（光纤通道）协议构建专用存储网络：
FC-SAN的核心组件：
| 组件 | 说明 |
|---|---|
| HBA | Host Bus Adapter，主机通道适配器 |
| FC Switch | 光纤通道交换机 |
| FC Array | 光纤通道存储阵列 |
| Fabric | FC交换网络（单Fabric或多Fabric互联） |
FC协议栈：
| 层级 | 协议 | 功能 |
|---|---|---|
| FC-0 | 物理层 | 光/电传输介质 |
| FC-1 | 数据链路层 | 帧格式、编码、CRC |
| FC-2 | 网络层 | 交换、流控、多路径 |
| FC-3 | 公共服务 | 组播、冗余、认证 |
| FC-4 | 映射层 | SCSI命令映射 |
2.3 IP-SAN（iSCSI）架构
iSCSI（Internet SCSI）将SCSI命令封装在TCP/IP协议栈中传输：
iSCSI协议栈：
| 层级 | 协议 | 功能 |
|---|---|---|
| 应用层 | SCSI | 块存储命令 |
| 封装层 | iSCSI | SCSI over TCP封装 |
| 传输层 | TCP | 可靠传输 |
| 网络层 | IP | 路由 |
| 链路层 | 以太网 | 物理传输 |
iSCSI核心组件：
| 组件 | 说明 |
|---|---|
| Initiator | iSCSI发起端（主机） |
| Target | iSCSI目标端（存储） |
| Target Portal | Target的IP:Port地址 |
| iSCSI交换机 | 支持iSCSI优化的以太网交换机 |
2.4 FC-SAN 与 IP-SAN 对比
三、技术细节
3.1 FC-SAN 的优势与局限
优势：
| 优势 | 说明 |
|---|---|
| 低延迟 | FC协议专为存储优化，延迟低于1μs |
| 无丢包 | FC内置流控机制，保证零丢包 |
| 高可靠性 | FC Fabric成熟的错误检测和恢复机制 |
| 专用网络 | 独立于业务网络，互不干扰 |
| 成熟生态 | decades的存储厂商支持 |
局限：
| 局限 | 说明 |
|---|---|
| 成本高 | 专用HBA卡、FC交换机、光模块 |
| 运维复杂 | 需要专业的FC网络知识 |
| 扩展受限 | 受限于FC Fabric的规模 |
| 融合困难 | 与以太网网络融合困难 |
3.2 iSCSI 的优势与局限
优势：
| 优势 | 说明 |
|---|---|
| 成本低 | 使用标准以太网卡和交换机 |
| 运维简单 | IT人员熟悉TCP/IP网络 |
| 远程扩展 | 支持长距离传输（IP路由） |
| 融合便利 | 可与业务网络共享基础设施 |
局限：
| 局限 | 说明 |
|---|---|
| 延迟较高 | TCP/IP协议栈引入额外延迟 |
| CPU占用 | iSCSI软件栈消耗CPU资源 |
| 丢包敏感 | TCP重传影响存储性能 |
| 需要优化 | 需要Jumbo Frame、DCB等优化 |
3.3 FCoE（Fibre Channel over Ethernet）
FCoE将FC帧封装在以太网帧中传输，实现了FC和以太网的融合：
| 特性 | 说明 |
|---|---|
| 封装方式 | FC帧直接封装在以太网帧（无IP层） |
| 无损要求 | 需要DCB（Data Center Bridging）支持 |
| 收敛网卡 | CNA（Converged Network Adapter）同时支持FC和以太网 |
| 适用场景 | 中小型数据中心FC与以太网融合 |
四、实战配置/案例分析
4.1 华为OceanStor iSCSI 配置
# OceanStor 存储 iSCSI Target 配置
#
# 1. 配置iSCSI端口
storage_port
create port_id=1 protocol=iSCSI
set ip_address=192.168.100.10 netmask=255.255.255.0
#
# 2. 创建LUN
lun
create lun_id=0 capacity=1TB thin=true storage_pool=SP1
#
# 3. 创建主机和主机组
host
create host_name=ESXi-01 initiator_name=iqn.2024-01.com.huawei:esxi-01
#
host_group
create group_name=ESXi-Group host_list=ESXi-01
#
# 4. 创建映射视图
lun_mapping
create mapping_name=MAP-01 host_group=ESXi-Group lun_list=LUN-0
4.2 华为CloudEngine iSCSI优化配置
# 交换机 iSCSI 优化配置
sysname iSCSI-SW-01
#
# 1. 启用Jumbo Frame（减少iSCSI分片）
interface 10GE1/0/1
description To-Server
port link-type trunk
port trunk allow-pass vlan 100
#
# 配置MTU为9000
interface 10GE1/0/1
port mtu 9198
#
interface 10GE1/0/48
description To-Storage
port link-type trunk
port trunk allow-pass vlan 100
port mtu 9198
#
# 2. 配置QoS保障iSCSI流量优先级
# 将iSCSI流量(TCP 3260)映射到高优先级
traffic classifier iSCSI
if-match destination-port 3260
#
traffic behavior iSCSI-QoS
queue wfq-weight 80
#
traffic policy iSCSI-Policy
classifier iSCSI behavior iSCSI-QoS
#
interface 10GE1/0/1
traffic-policy iSCSI-Policy inbound
4.3 故障案例：iSCSI多路径切换导致存储中断
现象：某虚拟化平台通过iSCSI连接OceanStor存储，配置了双链路多路径。当一条以太网链路故障时，iSCSI会话中断，虚拟机出现I/O挂起。
排查过程：
# 在ESXi主机上检查iSCSI路径
esxcli storage core path list
# 发现所有路径都指向同一个iSCSI Target Portal IP
# 多路径实际只有一条有效路径
# 检查存储端配置
# 存储只配置了一个iSCSI Portal, 两个物理端口绑定为LACP
# LACP切换期间, iSCSI会话超时
# 检查iSCSI超时参数
esxcli storage core device timeout get -d naa.60000...
# 默认超时60秒, 但LACP切换只需2秒
# 问题不在超时, 而在路径配置
根因：多路径软件（NMP）配置不当。两个物理链路使用了相同的iSCSI Target Portal IP（通过LACP聚合），多路径软件无法区分两条物理路径，只看到一条逻辑路径。当物理链路切换时，iSCSI会话短暂中断，超过应用层的I/O超时阈值。
解决： 1. 为每个物理端口配置独立的iSCSI Target Portal IP 2. 在多路径软件中正确识别两条独立路径 3. 调整I/O超时参数，适应链路切换时间 4. 启用iSCSI的快速故障检测和自动重连
五、总结
| 对比项 | FC-SAN | IP-SAN (iSCSI) | FCoE |
|---|---|---|---|
| 传输协议 | Fibre Channel | iSCSI/TCP/IP | FC over Ethernet |
| 延迟 | 极低(<1μs) | 中(10-100μs) | 低 |
| 成本 | 高 | 低 | 中 |
| 运维复杂度 | 高 | 低 | 中 |
| 最大距离 | 有限(KM级) | 无限(IP路由) | 有限 |
| 无损支持 | 原生 | 需要优化 | 需要DCB |
| 适用场景 | 高性能数据库 | 虚拟化/云存储 | FC融合以太网 |
思考
- FC-SAN的延迟远低于iSCSI，但在什么场景下iSCSI的性能已经足够满足需求？
- iSCSI使用TCP协议传输SCSI命令，TCP的重传机制对存储I/O有什么影响？如何缓解？
- FCoE需要将FC帧封装在以太网中，与直接在以太网上运行iSCSI相比，FCoE的优势是什么？为什么FCoE的市场份额不如iSCSI？
下篇预告：第268篇：FC 交换机基础：Domain ID、WWN、Zone