配置举例	推荐使用硬件
配置举例	网卡	互联模块	外部交换机	后端存储
FC配置举例（FC交换模块连接FC交换机）	FC730i	BX608FE	FC交换机	存储
FC配置举例（FC交换模块多端口上联FC交换机）	FC730i	BX608FE	FC交换机	存储
FC配置举例（FC交换模块聚合口上联FC交换机）	FC730i	BX608FE	FC交换机	存储
FC配置举例（FC交换模块直连3Par存储）	· FC680i · FC730i	BX608FE	-	存储
FCoE配置举例（融合互联模块连接FC交换机）	· ETH521i · ETH522i · ETH682i	BX720EF	FC交换机	存储
FCoE配置举例（融合互联模块聚合口上连FC交换机）	· ETH521i · ETH522i · ETH682i	BX720EF	FC交换机	存储
FCoE配置举例（融合交换模块同时连接FC交换机和以太网交换机）	· ETH521i · ETH522i · ETH682i	BX1020EF	FC交换机	存储
FCoE配置举例（融合互联模块直连3Par存储）	· ETH521i · ETH522i · ETH682i	BX720EF	-	存储
FCoE配置举例（直通模块）	· ETH521i · ETH522i · ETH682i	BT616E	以太网交换机（支持FCoE业务）	存储
FC直通模块配置举例（FC直通模块连接FC交换机）	FC730i	BT716F	FC交换机	存储

1.2 配置前提

本文档中的配置均是在实验室环境下进行的配置和验证，配置前设备的所有参数均采用出厂时的缺省配置。如果您已经对设备进行了配置，为了保证配置效果，请确认现有配置和以下举例中的配置不冲突。

本文档假设您已了解FC和FCoE的相关知识，了解端口聚合等特性，掌握H3C刀片服务器和互联模块、Windows/Linux/ESXI/CAS操作系统、博科交换机以及3Par存储的基本使用方法。

以下配置举例中，重点介绍刀箱侧的配置过程，外部网络的配置内容建议根据实际需求进行调整。

2 FC配置举例（FC交换模块连接FC交换机）

2.1 组网需求

如图2-1所示，H3C B16000刀箱中安装了刀片服务器和FC交换模块，刀片服务器安装在12号槽位，两块FC交换模块安装在3号槽位和6号槽位，刀片服务器的Mezz3槽位安装了Mezz网卡。两块FC交换模块分别通过各自的FC 1/1/1与FC交换机相连，FC交换机与FC存储设备的0:0:1端口相连。

本例中刀片服务器使用H3C UniServer B5700 G3，Mezz网卡使用NIC-FC730i-Mb-2*32G（以下简称FC730i），FC交换模块使用BX608FE，FC交换机使用博科交换机（Brocade6510），FC存储设备使用3Par存储（H3C CF8840）。

现希望实现如下需求：

刀片服务器上的OS可以挂载3Par上的存储卷，实现远端存储功能；且任意一个互联模块故障时，OS访问3Par上的数据不受影响。

图2-1 FC交换模块（NPV模式）连接FC交换机组网图

2.2 配置思路

· 要完成OS上挂载3Par存储卷，首先需要建立刀片服务器到3Par存储之间的FC链路，然后在3Par上创建存储卷，OS便可以自动识别该存储卷。

· 本举例中，FC交换模块直连FC交换机，通过FC交换机连接3Par存储，此时需要在2个FC交换模块上配置NPV模式。

· 为了确保任一互联模块故障时，业务不受影响，需要在OS上配置多路径功能提升网络的可靠性。

· 为了避免FC交换机故障导致网络断开，建议2个互联模块分别连接1台FC交换机，实现链路冗余。

2.3 使用版本

本举例是在互联模块的SWITCH_SYS-1.00.11和OM-1.00.11版本上进行配置和验证的。

2.4 配置注意事项

· 添加存储卷之前，请确保刀片服务器已经安装好OS和相应的网卡驱动程序，确保OS能正常识别FC730i网卡。安装OS的详细介绍，请参见《H3C服务器操作系统安装指导》；安装网卡驱动程序的详细介绍，请参见《FC730i Mezz网卡模块用户指南》。

· 当已完成存储卷的挂载，在3Par上使用新的存储卷替换原有存储卷后，需要重启刀片服务器OS才能识别到新的存储卷。

2.5 配置步骤

2.5.1 查询端口信息

参见12.1 查询端口关系，查询Mezz网卡和互联模块内部端口之间的连接关系。

可以得知：本例中使用3号和6号互联模块的FC 1/0/12端口。

2.5.2 Mezz网卡配置

FC组网中，FC Mezz网卡安装到位后即可正常使用。本举例中无其他特殊需求，所以无需对Mezz网卡进行配置。

2.5.3 博科交换机配置

本举例中，博科交换机采用缺省配置，确保port0、port1位于同一个FC Zone中即可。

2.5.4 互联模块配置

1. 配置3号槽位互联模块

BX608FE互联模块内部端口缺省为shutdown状态，所以当首次配置或恢复了默认配置文件时，请先执行undo shutdown开启对应端口，之后再进行配置。请参见12.1 查询端口关系，确定网卡端口连接的内部端口。

# 配置交换机的FCoE模式为NPV模式。

<H3C> system-view

[H3C] fcoe-mode npv

# 创建VSAN，本例中创建VSAN 1。

[H3C] vsan 1

[H3C-vsan1] quit

# 创建VLAN用于映射VSAN。本例中创建VLAN 10，并在VLAN 10内开启FCoE功能，将该VLAN与VSAN 1相映射。

[H3C] vlan 10

[H3C-vlan10] fcoe enable vsan 1

[H3C-vlan10] quit

# 配置和博科交换机连接的端口工作在NP模式。

[H3C] interface fc1/1/1

[H3C-Fc1/1/1] fc mode np

[H3C-Fc1/1/1] quit

# 保存配置。

[H3C] save

The current configuration will be written to the device. Are you sure? [Y/N]:y

Please input the file name(*.cfg)[flash:/startup.cfg]

(To leave the existing filename unchanged, press the enter key):

2. 配置6号槽位互联模块

# 配置交换机的FCoE模式为NPV模式。

<H3C> system-view

[H3C] fcoe-mode npv

# 创建VSAN，本例中创建VSAN 2。

[H3C] vsan 2

[H3C-vsan2] quit

# 创建VLAN用于映射VSAN。本例中创建VLAN 20，并在VLAN 20内开启FCoE功能，并将该VLAN与VSAN 2相映射。

[H3C] vlan 20

[H3C-vlan20] fcoe enable vsan 2

[H3C-vlan20] quit

# 配置和博科交换机连接的端口工作在NP模式。

[H3C] interface fc1/1/1

[H3C-Fc1/1/1] fc mode np

[H3C-Fc1/1/1] port access vsan 2

[H3C-Fc1/1/1] quit

# 配置内部端口加入VSAN 2。

[H3C] interface fc1/0/12

[H3C-Fc1/0/12] port access vsan 2

[H3C-Fc1/0/12] quit

# 保存配置。

[H3C] save

The current configuration will be written to the device. Are you sure? [Y/N]:y

Please input the file name(*.cfg)[flash:/startup.cfg]

(To leave the existing filename unchanged, press the enter key):

3. 查询Mezz网卡的WWN

在FC交换模块上执行“display npv login”命令，可以查看FC交换模块的下行口上相连的节点设备（Mezz网卡）的注册信息和映射的上行口。以查看3号槽位的FC交换模块举例：

<H3C>display npv login

Server External

Interface VSAN FCID Node WWN Port WWN Interface

Fc1/0/12 1 0x020101 20:00:f4:e9:D4:53:f1:c5 21:00:f4:e9:D4:53:f1:c5 Fc1/1/1

表2-1 display npv login命令显示信息描述表

字段	描述
Server Interface	下行口的接口名
VSAN	VSAN编号
FCID	节点的FC地址
Node WWN	节点的WWN
Port WWN	节点端口的WWN
External interface	下行口映射的上行口的接口名

2.5.5 3Par存储配置

3Par存储的配置过程请参见12.3 配置3Par存储。

2.5.6 OS上的配置

· 本节介绍在Redhat7.5上配置多路径的步骤，多路径可以实现主机和存储设备之间流量的负载均衡和可靠性保障。Windows上的配置步骤和验证配置请参见12.2 Windows Server上配置多路径并添加网络磁盘。

· 配置前，请确认OS是否已安装multipath工具，大部分Linux系统均自带本工具。

1. 准备工作

在OS上执行“fdisk -l”命令，可以查看到主机识别的两个虚拟卷，如图2-2所示。

图2-2 识别到虚拟卷

如果找不到磁盘，使用“echo 1 > /sys/class/fc_host/hostnum/issue_lip”命令手动刷新fc_host，其中hostnum表示/sys/class/fc_host目录下的host号，如host1。

2. 配置多路径

(1) 依次执行以下命令，加载multipath服务器，设置轮询模式，启动多路径服务，并格式化路径。

# modprobe dm-multipath

# modprobe dm-round-robin

# systemctl start multipathd.service

# multipath –v2

如果在Redhat操作系统下，提示multipath.conf文件不存在，可以从其他位置拷贝一份过来，重新下发一次即可，如图2-3所示。

图2-3 multipath.conf文件不存在处理方法

(2) 执行以下命令重启multipath服务器。

# systemctl restart multipathd.service

(3) 执行以下命令查看multipath链路状态，可以看到2个端口处于active状态，如图2-4所示。

# multipath –ll

图2-4 查看multipath链路状态

2.6 验证配置

多路径配置完成后，再次执行“fdisk -l”命令，可以查看到多了一个mpatha的卷，表示系统可以通过多路径访问虚拟卷，如图2-5所示。

图2-5 查看mpatha卷

3 FC配置举例（FC交换模块多端口上联FC交换机）

3.1 组网需求

如图3-1所示，H3C B16000刀箱中安装了刀片服务器和FC交换模块。

· 两个刀片服务器分别安装在11号、12号槽位。

· 两个FC交换模块分别安装在3号、6号槽位。

· 刀片服务器的Mezz3槽位安装了FC Mezz网卡。

· 两个FC交换模块分别通过各自的FC1/1/1和FC1/1/2端口与两个FC交换机的Port0和Port1端口直连。

· 两个FC交换机分别通过各自的Port2端口与FC存储设备的0:0:1和1:0:1端口直连。

本例中刀片服务器使用H3C UniServer B5700 G3，FC Mezz网卡使用NIC-FC730i-Mb-2*32G（以下简称FC730i），FC交换模块使用BX608FE，FC交换机使用博科交换机（Brocade6510），FC存储设备使用3Par存储（H3C CF8840）。

现希望实现如下需求：

· 刀片服务器上挂载3Par存储上的存储卷，实现远端存储功能。

· 实现FC交换模块多端口流量负载均衡。

· 确保网络可靠性，当任一FC交换机或任一FC交换模块故障时，业务不受影响。

图3-1 FC交换模块NPV模式多端口上联SAN组网图

3.2 配置思路

· 要完成刀片服务器上挂载3Par存储卷，需要建立刀片服务器到3Par存储之间的FC链路，实现FC流量的传输，需要进行如下配置：

¡ 在刀片服务器及Mezz卡上进行FC相关配置。

¡ 在FC交换模块上配置FC功能。

¡ 在FC交换机上配置FC功能，确保FC链路连通。

¡ 在3Par上创建存储卷，刀片服务器的OS便可以自动识别该存储卷。

· 为了实现FC交换模块多端口流量负载均衡，需要通过多端口配置，实现多个FC链路负载均衡。多个FC链路负载均衡需要在NPV模式中配置，所以将FC交换模块的端口配置为NPV模式。

· 为了避免FC交换机故障导致网络断开，建议每个互联模块多端口分别连接一台FC交换机，实现链路冗余。

· 为了确保任一互联模块故障时，业务不受影响，需要在刀片服务器的OS上配置多路径功能提升网络的可靠性。

3.3 使用版本

本举例是在互联模块的SWITCH_SYS-1.02.04版本上进行配置和验证的。

3.4 配置注意事项

· 当已完成存储卷的挂载，在3Par上使用新的存储卷替换原有存储卷后，需要重启刀片服务器OS才能识别到新的存储卷。

3.5 配置步骤

3.5.1 查询Mezz网卡与互联模块的端口连接关系

请使用官网的组网查询工具，查看Mezz网卡与互联模块的端口连接关系。

如图3-2所示，由工具查询可知，本例中11号槽位刀片服务器Mezz网卡连接3号和6号互联模块的FC 1/0/11端口，12号槽位刀片服务器Mezz网卡连接3号和6号互联模块的FC 1/0/12端口。

图3-2 Mezz网卡与互联模块的端口连接关系

3.5.2 Mezz网卡配置

FC组网中，FC Mezz网卡安装到位后即可正常使用。本举例中无其他特殊需求，所以无需对Mezz网卡进行配置。