目  录

1 Mellanox IB卡

1.1 适配的网卡

1.2 网卡配置界面及参数说明

1.3 网卡信息查询

1.4 网卡配置

1 Mellanox IB卡

1.1  适配的网卡

本文档适用于如下型号的网卡，关于网卡的详细信息请参见服务器兼容的部件查询工具。

·     IB-MCX653105A-HDAT-200Gb-1P

·     IB-MCX653106A-ECAT-100Gb-2P

·     IB-MCX653105A-ECAT-100Gb-1P

·     IB-MCX556A-ECAT-100Gb-2P

·     IB-MCX555A-ECAT-100Gb-1P

·     IB-MCX454A-FCAT-2P

1.2  网卡配置界面及参数说明

本节内容以NIC-IB-MCX653106A-ECAT-2P网卡为例进行介绍。其他网卡，请以实际界面显示情况为准。

1.2.1  BIOS Setup Advanced

如图1-1或图1-2所示，在BIOS Setup Advanced界面，通过PCIe设备的Slot Number和网卡设备的Port Number对应的选项，进入网口配置Main界面。

图1-1 BIOS Setup Advanced图形化界面

图1-2 BIOS Setup Advanced文本界面

1.2.2  网卡的配置主界面

网卡的配置主界面如图1-3或图1-4所示，主要包含网卡的产品信息、当前连接状态、MAC地址、PCIe Bus地址等信息。具体参数说明如表1-1所示。

图1-3 网卡配置图形化主界面

图1-4 网卡配置文本主界面

表1-1 网卡配置文本主界面参数

1.2.3  Firmware Image properties

Firmware Image properties界面如图1-5或图1-6所示，主要包含IB卡的固件版本信息，具体参数说明如表1-2所示：

图1-5 Firmware Image properties图形化界面

图1-6 Firmware Image properties文本界面

表1-2 Firmware Image properties界面参数

1.2.4  NIC Configuration

NIC Configuration界面如图1-7或图1-8所示，主要包含IB卡工作在BIOS Legacy模式下的配置，具体参数说明如表1-3所示。

图1-7 NIC Configuration图形化界面

图1-8 NIC Configuration文本界面

表1-3 NIC Configuration界面参数

1.2.5  iSCSI Configuration

iSCSI Configuration界面如图1-9或图1-10所示，包含网卡iSCSI相关配置的菜单入口，具体参数说明如表1-4所示。

图1-9 iSCSI Configuration图形化界面

图1-10 iSCSI Configuration文本界面

表1-4 iSCSI Configuration图形化界面参数

1. iSCSI General Parameters

iSCSI General Parameters界面如图1-11或图1-12所示，主要包含网卡iSCSI功能的通用配置项，具体参数说明如表1-5所示。

图1-11 iSCSI General Parameters图形化界面

图1-12 iSCSI General Parameters文本界面

表1-5 iSCSI General Parameters界面参数

2. iSCSI initiator Parameters

iSCSI initiator Parameters界面如图1-13或图1-14所示，主要包含网卡iSCSI启动器相关的设置，具体参数说明如表1-6所示。

图1-13 iSCSI initiator Parameters图形化界面

图1-14 iSCSI initiator Parameters文本界面

表1-6 iSCSI initiator Parameters界面参数

3. iSCSI First Target Parameters

iSCSI First Target Parameters界面如图1-15或图1-16所示，主要包含网卡iSCSI首个目标设备的配置项，具体参数说明如表1-7所示。

图1-15 iSCSI First Target Parameters图形化界面

图1-16 iSCSI First Target Parameters文本界面

表1-7 iSCSI First Target Parameters界面参数

1.2.6  Power Configuration

Power Configuration界面如图1-17或图1-18所示，主要包含网卡电源管理相关配置，具体参数说明如表1-8所示。

图1-17 Power Configuration图形化界面

图1-18 Power Configuration文本界面

表1-8 Power Parameters界面参数

1.2.7  Device Level Configuration

Device Level Configuration界面如图1-19或图1-20所示，主要包含IB卡虚拟化相关配置，具体参数说明如表1-9所示。

图1-19 Device Level Configuration图形化界面

图1-20 Device Level Configuration文本界面

表1-9 Device Level Configuration图形化界面参数

1.3  网卡信息查询

1.3.1  驱动版本

1. Linux操作系统

使用“ethtool -i <网口名>”命令可查询网卡驱动版本，如图1-21所示。

图1-21 Linux系统下查询网卡驱动版本

2. Windows操作系统

同时按下“Windows 徽标键+R键”，在弹出的“运行(Run)”窗口输入“devmgmt.msc”并按回车，调出设备管理器(Device Manager)。

在设备管理器（Device Manager）中选择网络适配器（Network adapters），在该网卡的属性页面（Adapter Properties）中可查询网卡的驱动版本信息（Driver Version），如图1-22所示。

图1-22 在设备管理器中查询网卡驱动版本

1.3.2  固件版本

1. Linux操作系统

使用“ethtool -i <网口名>”命令可查询网卡固件版本，如图1-23所示。

图1-23 Linux系统下查询网卡固件版本

2. Windows操作系统

同时按下“Windows 徽标键+R键”，在弹出的“运行(Run)”窗口输入“devmgmt.msc”并按回车，调出设备管理器(Device Manager)。

在设备管理器（Device Manager）中选择网络适配器（Network adapters），在该网卡的属性页面（Adapter Properties）中可查询网卡的固件版本信息（Firmware Version），如图1-24所示。

图1-24 在设备管理器中查询网卡固件版本信息

1.3.3  光模块信息

1. Linux操作系统

IB网卡查询光模块信息需要安装MFT工具集，可从Mellanox工具下载链接获取。

使用“mlxlink -d <pci_bus_number> -m”可查询当前网卡的光模块信息，如图1-25所示。

图1-25 Linux系统下查询网卡光模块信息

2. Windows操作系统

在Windows操作系统下，读取光模块信息需要安装MFT工具集，可从Mellanox工具下载链接获取。

安装完毕后，开启cmd命令行，执行“mst status”查询MST设备名，如图1-26所示。

图1-26 查询网卡设备名

使用“mlxlink -d <MST设备名> -m”查看当前网卡使用的光模块信息，如图1-27所示。

图1-27 查询光模块信息

1.3.4  MAC地址查询

1. Linux操作系统

使用“ibv_devinfo”命令可查询到IB网卡的MAC地址（即GUID），如图1-28所示。

图1-28 Linux系统下查询IB网卡MAC地址

2. Windows操作系统

同时按下“Windows 徽标键+R键”，在弹出的“运行(Run)”窗口输入“devmgmt.msc”并按回车，调出设备管理器(Device Manager)。

在设备管理器（Device Manager）中选择网络适配器（Network adapters），在该网卡的属性页面（Adapter Properties）中可查询网卡的MAC地址（Current MAC Address），如图1-29所示。

图1-29 在设备管理器中查询网卡MAC地址

1.4  网卡配置

1.4.1  网卡端口模式管理

1. 功能简介

Mellanox IB网卡支持将端口配置为InfiniBand或以太网模式。默认情况下，网卡的两个端口初始化为InfiniBand模式，如果希望更改端口模式，请参照配置步骤。

2. 配置准备

访问H3C官网，单击：支持文档与软件软件下载，在按产品检索处选择“服务器”，在软件下载页面，通过选择或搜索，获取网卡驱动并参考网卡配套的版本说明书进行安装。

3. 配置步骤

IB卡的端口模式切换操作可以通过BIOS菜单配置，也可在OS下通过网卡配置管理工具设置。

操作系统下的配置方法

通过mlxconfig工具（网卡驱动程序附带此工具）可设置开启网卡的端口模式。

使用如下命令可以查询当前网口模式，其中<device>为网卡PCI Bus Number：

mlxconfig -y -d <device> query

查询示例如下：

网卡的端口模式由如下两个配置管理：

·     LINK_TYPE_P1为第一个网口的模式，值1为InfiniBand模式，值2为以太网模式。

·     LINK_TYPE_P2为第二个网口的模式，值1为InfiniBand模式，值2为以太网模式。

使用命令“mlxconfig -y -d <device> set LINK_TYPE_P1=2 LINK_TYPE_P2=2”，可以将网卡的两个端口切换至以太网模式，冷重启后生效，如图1-30所示。

图1-30 切换网口模式

BIOS下的配置方法

在服务器启动过程中，根据提示按下Delete或Esc进入BIOS Setup界面。

如图1-31所示，选择Advanced页签 > Slot1: Port 1 - Nvidia Network adapter，然后按Enter

图1-31 Advanced界面

如图1-32所示，将Network Link Type选项设置为Ethernet或InfiniBand，完成后按下F4保存配置并重新启动。

图1-32 配置Network Link Type

4. 验证配置

服务器上电启动，在POST界面按ESC进入Setup菜单，访问Advanced页签 > Slot1: Port 1 - Nvidia Network adapter，检查Network Link Type选项和上述步骤配置的值一致。

1.4.2  OpenSM

1. 功能简介

OpenSM（Open Subnet Manager，子网管理器）是InfiniBand子网管理器，所有InfiniBand网络都必须运行子网管理器才能正常工作，即使两台服务器直接连接而没有使用交换机也是如此。大多数InfiniBand交换机都包含一个嵌入式的子网管理器，在Nvidia OFED中也提供了名为opensm的可执行程序，运行在Nvidia OFED堆栈之上，按照InfiniBand规范初始化硬件。

opensm运行在本地计算机的指定IB端口，并且仅管理该端口所接入的网络。如果服务器本地存在其他IB端口，opensm将忽略这些端口所接入的网络。如果未指定端口，opensm将选择第一个最佳的可用端口。默认情况下，opensm运行时将会把日志记录到两个文件：/var/log/messages和/var/log/opensm.log，第一个文件仅记录重大事件，第二个文件包含报告错误的详细信息。第二个文件中报告的任何错误都应当被视作IB网络健康状态异常。当发生不可恢复错误时，opensm将会退出。如果opensm配置正确，两份日志文件都会打印“SUBNET UP”消息。

2. 配置准备

opensm集成在Nvidia OFED驱动包中，可访问H3C官网，单击：支持文档与软件软件下载，在按产品检索处选择“服务器”，在软件下载页面，通过选择或搜索，获取网卡驱动并参考网卡配套的版本说明书进行安装。

3. 配置步骤

环境变量配置

可通过修改如下环境变量控制opensm的行为，若使用默认配置则无需设置：

l     OSM_TMP_DIR - 控制opensm生成临时文件的目录，临时文件包括opensm-subnet.lst, opensm.fdbs和opensm.mcfdbs。默认情况下，该目录为/var/log。

l     OSM_CACHE_DIR - 控制opensm数据缓存的目录，默认情况下，该目录为/var/cache/opemsm。

运行opensm

opensm的默认配置可以满足多达几百个节点的常见使用场景。在默认模式下，opensm将扫描并初始化IB网络结构，并监控网络的变化。

直接执行“opensm”命令可以在默认模式运行opensm。

将opensm作为后台服务运行

执行命令“/etc/init.d/opensmd start”，可以将opensm作为后台服务运行。

4. 验证配置

可以利用osmtest工具测试验证opensm是否正常工作，Nvidia OFED驱动包集成有此工具。

操作示例如下：

执行命令“osmtest -f c”生成节点、端口和路径的清单文件，如图1-33所示。

图1-33 执行osmtest

执行命令“osmtest -f a -d1 -i ./osmtest.dat”执行全部验证项。预期结果如下：

1.4.3  IP over InfiniBand（IPoIB）

1. 功能简介

IP over InfiniBand（IPoIB）是在InfiniBand远程直接访问(RDMA)网络之上提供的IP网络模拟层。通过IPoIB ULP（Upper Layer Protocol）驱动，允许现有未经修改适配RDMA的应用通过InfiniBand网络发送数据。但是和原生RDMA支持的应用相比性能会偏低。

IPoIB驱动模块ib_ipoib提供了如下功能：

·     在InfiniBand网络创建模拟的VLAN子接口

·     通过Bonding支持高可用性

·     支持修改MTU值：

¡     Datagram mode最大支持4K

¡     Connected mode最大支持64K

·     为发送的数据包插入IP/UDP/TCP校验和

·     计算收到数据包的校验和

·     通过ConnectX®LSO功能支持网卡硬件TSO

·     支持datagram和connected两种操作模式

·     connected模式下支持巨型帧

IPoIB还提供了基于以下软件的增强功能：

·     Giant Receive offload（GRO）

·     NAPI

·     Ethtool支持

2. 配置准备

访问H3C官网，单击：支持文档与软件软件下载，在按产品检索处选择“服务器”，在软件下载页面，通过选择或搜索，获取网卡驱动并参考网卡配套的版本说明书进行安装。

3. 配置步骤

IPoIB增强模式配置

IPoIB增强模式（IPoIB enhanced）可以将ULP的基本功能卸载到底层的网卡驱动程序，以此优化IPoIB的数据路径。这将允许IPoIB支持多种无状态卸载，如RSS/TSS，可以使IPoIB datagram的带宽和时延达到最优。

设置ib_ipoib模块参数“ipoib_enhanced”为1，可启用IPoIB增强模式，命令示例如下：

# modprobe ipoib_enhanced=1

执行命令查询当前是否启用了IPoIB增强模式：“ip link show ibX”，其中ibX为OS下IB接口名。

命令执行后将打印ib接口的MAC地址信息，根据MAC地址是否以00:xxxxxx或20:xxxxxx起始判断，如图1-34所示：

图1-34 查询IB接口MAC地址

IPoIB模式配置

IPoIB ULP可以工作在两种模式，分别为Connected模式和Datagram模式，默认情况下，IPoIB ULP工作在Datagram模式。为了获得更好的可扩展性和性能，建议使用Datagram模式。

如需修改为Connected模式，参考如下步骤：

·     修改/etc/infiniband/openib.conf配置文件，将SET_IPOIB_CM值设置为YES，如图1-35所示：

图1-35 设置IPoIB Connected Mode

·     修改完毕后，执行命令“/etc/init.d/openibd restart”重新启动驱动。

·     执行命令“cat /sys/class/net/ib<n>/mode”检查当前打印结果为“connected”，可以确认模式已被切换至Connected。

MTU配置

MTU（Maximum Transmission Unit， 即最大传输单元），在Datagram模式下，物理端口的MTU支持4K，而IPoIB端口MTU默认值为2K。该参数是由opensm设置的，如果需要将IPoIB MTU修改为4K，可编译opensm配置文件，操作步骤如下：

·     编辑/etc/opensm/partitions.conf文件，写入配置“Default=0xffff, ipoib, mtu=5 : ALL=full”，并保存,如图1-36所示：

图1-36 编辑opensm配置文件

·     执行命令“/etc/init.d/opensmd restart”，重启opensm服务。

·     执行命令“ip link show ib0”，确认ib0接口的MTU值已被设置为4K，如图1-37所示。

图1-37 检查ib接口MTU值

IPoIB Bonding配置

Bonding技术，能将多块物理网卡上的网卡绑定到一个虚拟网口上，让多块网卡看起来是一个单独的以太网接口设备，用来确保服务器网络质量。

IPoIB接口支持Bonding技术，实现方式和以太网口相同，都是通过Linux Bonding驱动模块。可以按照操作系统标准的网络接口配置脚本（Network Interface Script）格式创建ib和bond接口配置脚本。需要注意的事项如下：

·     网络接口配置脚本编写时，IPoIB slaves接口应当按照IPoIB接口名命名，例如：ifcfg-ib0。

·     对于IPoIB Bonding主要关注的是高可用性（High-Availability），所以推荐的Bonding模式为 mode 1（active-backup）。

·     Bonding参数中“fail_over_mac”对于IPoIB是没有意义的，仅支持默认值0。

·     对于Bonding master接口配置文件（如，ifcfg-bond0），除了Linux Bonding标准参数外，还需要增加“MTU=65520”。

·     对于Bonding slave配置文件（如，ifcfg-ib0），“DEVICE”参数应当设置为IB接口名（如：DEVICE=ib0）。

·     对于配置有partitions的设备（如， ifcfg-ib0.8003）的Bonding slave配置文件，“TYPE”参数应当设置为“InfiniBand”（如， TYPE=InfiniBand）。

·     如需在操作系统启动后自动创建Bonding接口请参照如下步骤：

¡     RHEL：创建/etc/modprobe.d/bond.conf，写入内容“alias bond0 bonding”.

¡     SLES：在/etc/sysconfig/network/config文件中更新环境变量“MANDATORY_DEVICES”，将其值更新为IPoIB slave接口名（如，ib0）。

4. 验证配置

可以使用“ifconfig”命令验证IPoIB功能是否配置成功，按照如下操作，将IB节点1的IP地址配置为11.4.3.175，将IB节点2的IP地址配置为11.4.3.176，示例如下：

可在IB节点1侧，使用命令“ping”节点2的IP地址，示例如下：