01-正文

本章节下载 (5.37 MB)

01-正文

5.5.1 Linux系统下运行OpenSM

5.5.2 配置IPoIB

5.5.3 配置IPoIB端口Bonding

1 安全

1.1 安全信息

为了避免操作过程中对人和设备造成伤害，请在操作前，仔细阅读产品相关安全信息。实际操作中，包括但不限于本文描述的安全信息。

1.1.1 运行安全

介绍安装和更换网卡时的安全注意事项。

· 为确保人身和设备安全，只有H3C授权人员或专业的工程师才能安装和更换网卡。

· 安装或更换网卡前，请确保业务已停止运行，并将刀片服务器下电，然后再拆卸刀片服务器。

· 拆卸、搬运或放置刀片服务器时，请勿用力过猛，请确保搬运设备过程中，用力均匀、缓慢。

· 请将刀片服务器放在干净、平稳的工作台或地面上进行维护。

· 为避免组件表面过热造成人身伤害，请确保刀片服务器和内部系统组件冷却后再操作。

1.1.2 电气安全

请仔细检查工作区域内是否存在潜在的危险，如：机箱未接地或接地不可靠、工作区域潮湿等。

1.2 静电防护

1.2.1 防止静电释放

人体或其它导体释放的静电可能会损坏网卡，由静电造成的损坏会缩短网卡的使用寿命。

为避免静电损害，请注意以下事项：

· 在运输和存储网卡时，请将网卡装入防静电包装中。

· 将网卡送达不受静电影响的工作区前，请将它们放在防静电包装中保管。

· 先将网卡放置在防静电工作台上，然后再将其从防静电包装中取出。

· 从防静电包装袋中取出网卡后，请尽快进行安装操作，避免网卡长时间放置在外界环境中。

· 在没有防静电措施的情况下，请勿触摸网卡上的插针和电路元器件。

· 将网卡拆卸后，请将网卡及时放入防静电包装袋中，并妥善保管。

1.2.2 防止静电释放的接地方法

在取放或安装网卡时，用户可采取以下一种或多种接地方法以防止静电释放。

· 佩戴防静电腕带，并将腕带的另一端良好接地。请将腕带紧贴皮肤，且确保其能够灵活伸缩。

· 在工作区内，请穿上防静电服和防静电鞋。

· 请使用导电的现场维修工具。

· 使用防静电的可折叠工具垫和便携式现场维修工具包。

2 认识网卡

图片仅供参考，具体请以实物为准。

2.1 概述

IB1040i（型号为IB1040i-Mb-2*100G，以下简称IB1040i）是一款2端口InfiniBand卡，提供2*100G端口，适用于UIS 9000一体机的刀片服务器，为刀片服务器提供连接互联模块槽位的网络接口。IB1040i通过x16带宽的PCIe通道与刀片服务器进行数据交换，通过2个100G IB EDR端口经中置背板与互联模块相连，支持HCA应用。

2.2 外观

IB1040i网卡的外观如图2-1所示。它应用于UIS 9000刀片服务器的2路半宽、2路全宽和4路全宽刀片服务器，具体可安装位置请参见4.2 网卡适配的刀片服务器。

图2-1 IB1040i外观

2.3 规格参数

介绍网卡的产品规格和技术参数。

2.3.1 产品规格

表2-1 产品规格

属性	描述
基本属性
网卡类型	IB网卡
芯片型号	MT27808A0-FCCF-EV
最大功耗	20W
数据通道总线	PCIe3.0 x16
网络属性
用户接口数量和类型	2*100G
用户接口传输速率	100Gb/s
全双工/半双工	全双工
标准兼容性	802.3az,802.3ba,802.3bj,802.3bm,802.3ae,802.3az,802.3ap,802.3ad,802.1Q,802.1p,802.1Qau,802.1Qaz,802.1Qbb,802.1Qbg

2.3.2 技术参数

表2-2 技术参数

类别	项目	说明
物理参数	尺寸（高x宽x长）	25.05mm x 61.60mm x 95.00mm
环境参数	温度	工作环境温度：5°C～35°C
	温度	贮存环境温度：-40°C～70°C
	湿度	· 工作环境湿度：8%～90%RH（无冷凝） · 贮存环境湿度：5%～95%RH（无冷凝）
	海拔高度	· 工作环境高度：-60～5000m（自35°C@900m始，高度每升高100m，规格最高温度降低0.33°C） · 贮存环境高度：-60～5000m

3 特性介绍

3.1 支持的特性

介绍IB1040i网卡支持的特性。

表3-1 网卡特性

特性	是否支持
InfiniBand	√
Jumbo Frames	√
RDMA	√
Load Balancing	√
802.1Q VLANs	√
Auto-Negotiation	√
PXE Boot	√
iSCSI	√
SR-IOV	√
VMDq	×
Multiple Rx Queues(RSS)	√
TCP/IP Stateless Offloading	√
Wake-on-LAN	×
NIC bonding	√

3.2 功能介绍

1. InfiniBand

IB1040i网卡支持InfiniBand技术。

InfiniBand通过交换机在节点之间直接创建一个私有的、受保护的通道，进行数据和消息的传输。传输过程无需CPU参与，实现远程直接内存访问，发送/接收由InfiniBand适配器管理和执行。适配器一端连接到CPU，另一端通过InfiniBand网络端口连接到InfiniBand子网。与其他网络通信协议相比，提供了明显的优势，包括更高的带宽、更低的延迟和较强的可伸缩性。

2. OpenSM

OpenSM是符合InfiniBand的子网管理器(Subnet Manager)，运行在Mellanox OFED软件堆栈进行IB网络管理，为符合InfiniBand规范的硬件初始化。每个InfiniBand子网必须运行一个SM。OpenSM附加到本地主机的特定IB端口，并管理与其连接的组件，如果未指定端口，则OpenSM将选择第一个“最佳”可用端口。

3. IPoIB

IB1040i网卡2个端口都支持IPoIB功能。

IPoIB是将IP报文封装到IB链路上进行传输。IPoIB端口操作系统下识别为ibX，可以配置IP，实现IPv4/IPv6的地址解析、IPv4/IPv6的数据报的封装、网络初始化、组播、广播和管理信息库等功能。

4. PXE

IB1040i网卡支持PXE启动。在启动过程中，刀片服务器（PXE Client）先从远端服务器（PXE Server）获取一个IP地址，再使用TFTP协议下载并执行PXE启动文件，完成客户端的基本软件配置，从而引导客户端实现PXE启动。PXE使服务器的启动可以不依赖本地数据存储设备或本地已安装的操作系统。

5. iSCSI

IB1040i网卡的2个端口都支持iSCSI SAN，但不支持iSCSI Remote boot技术。

iSCSI是一种能够把SCSI接口与以太网技术相结合的新型存储技术。基于iSCSI协议，设备便能在网络中传输SCSI接口的命令和数据内容了，这样不仅克服了传统SCSI接口设备的局限性，实现让机房之间可以跨越省市来共享存储资源，还可以做到在不停机的状况下扩展存储容量。解除了物理环境限制，可以把存储资源分开给多个服务器一起使用。

6. SR-IOV

IB1040i网卡的2个端口都支持SR-IOV。

SR-IOV允许用户整合其网络硬件资源，并在整合的硬件上同时运行多个虚拟机。虚拟化还为用户提供了丰富的功能，例如I/O共享、整合、隔离和迁移，以及简化管理。虚拟化可能会因管理程序的开销导致性能降低，PCI-SIG引入了SR-IOV规范，通过创建VF来解决性能问题，虚拟功能是一种直接分配给虚拟机的轻量级PCIe功能，绕过管理程序层进行主数据移动。

PF是全功能的PCIe功能，VF是PF分离出的轻量级PCIe功能，可直接将VF指定给相应的应用程序，虚拟功能共享物理设备的资源，并在没有CPU和虚拟机管理程序开销的情况下执行I/O。

IB1040i网卡支持每个物理端口创建0到127，共254个VF。

7. VLAN

· 802.1Q VLAN

IB1040i网卡每个端口最大支持4094个VLAN，VLAN ID的取值范围为1～4094。

网卡不会处理报文的tag（打tag或者去tag操作），VLAN ID由OS指定，网卡只是透传。

VLAN是一组逻辑上的设备和用户，工作在OSI参考模型的第二层和第三层。一个VLAN就是一个广播域，VLAN之间的通信是通过第三层的路由器来完成的。与传统的局域网技术相比，VLAN技术更加灵活，添加和修改管理开销少，可以控制广播活动，提高网络安全性。

8. BONDING（Linux）

BONDING包括如下7种模式，其中常用的有mode=0、mode=1和mode=6三种，1040i只支持active-backup模式。

· mode=0，即：（balance-rr）Round-robin policy（平衡轮循环策略），数据包在两个SLAVE之间顺序依次传输；

· mode=1，即：（active-backup）Active-backup policy（主-备策略）。只有主设备处于活动状态，当主设备宕机后备设备转换为主设备；

· mode=2，即：（balance-xor）XOR policy（平衡策略），基于指定的传输HASH策略传输数据包；

· mode=3，即：broadcast（广播策略），在每个SLAVE接口上传输每个数据包，此模式提供了容错能力；

· mode=4，即：（802.3ad）IEEE 802.3ad Dynamic link aggregation（IEEE 802.3ad动态链路聚合）,创建一个聚合组，它们共享同样的额定速率和双工设定，外出流量的SLAVE选择是基于传输hash策略的。此模式需要交换机支持IEEE 802.3ad，且要经过特定的配置；

· mode=5，即：（balance-tlb）Adaptive transmit load balancing（适配器传输负载均衡）。不需要任何特别的交换机支持，在每个SLAVE上根据当前的负载（根据速度计算）分配外出流量，如果正在接受流量的SLAVE故障，另一个SLAVE接管失败SLAVE的MAC地址；

· mode=6，即：（balance-alb）Adaptive load balancing（适配器适应性负载均衡）。该模式包含了balance-tlb模式，同时加上针对IPV4流量的接收负载均衡，通过ARP协商实现，不需要交换机支持。BONDING驱动截获本机发送的ARP应答，并把源硬件地址改为BOND中某个SLAVE的唯一硬件地址，从而使得不同的对端使用不同的硬件地址进行通信。

9. Teaming（Windows）

以集成在Windows Server 2012 R2中的Teaming解决方案为例，一般的NIC Teaming模式有三种：

· 静态成组（Static Teaming）：是一种依赖于交换机（Switch-dependent）的组合方式，要求交换机的支持，并且成员网卡不能分散到不同的交换机上。

· 交换机独立（Switch Independent）：网卡组合不需要交换机的参与，这样网卡可以连接到不同的交换机上，而且在连接不同交换机时采用的是主备模式，只有连接在同一交换机时才可以实现负载均衡聚合。

· LACP：类似静态成组，需要先在交换机中启用LACP，会把多块网卡合并成一个逻辑的线路，这种组合方式的速度是最快的。

除了Teaming模式需要配置之外，还需要配置负载均衡的模式，模式也有三种：

· 地址哈希（Address Hash）：启用后，数据包到达Teaming后，会根据目的地址信息（MAC地址，IP地址和端口号）执行哈希算法，通过算法结果，NIC Team决定由哪块物理网卡发送数据包。这种方式无法控制流量的走向，如果有大量数据是流向一个目标地址的，那么只会通过一块物理网卡来发送。

· Hyper-V端口：用于Hyper-V的模式，与无法控制的地址哈希相比，这种方式效率更高，数据会通过绑定虚拟网卡的不同物理网卡传输，同时这种绑定是基于每个虚拟网卡，而不是每台虚拟机的。如果是使用Hyper-V外部虚拟机交换机建议选择这种方式。

· 动态：这种方式是最优化的方式，从Windows Server 2016中新引入，数据会被平分到所有网卡上，最大效率的利用带宽。

10. TCP OFFLOADING

TCP卸载是一种TCP加速技术，将TCP/IP堆叠的工作卸载到网络接口控制器上，用硬件来完成。在高速以太网，处理TCP/IP数据包表头工作变得较为沉重，会占用大量的CPU资源，而由网卡硬件进行处理可以减轻处理器的负担，解放出来的CPU资源可以专注于其他的应用。

11. RDMA

RDMA技术全称远程直接数据存取，就是为了解决网络传输中服务器端数据处理的延迟而产生的。RDMA通过网络把资料直接传入计算机的存储区，将数据从一个系统快速移动到远程系统存储器中，而不对操作系统造成任何影响，这样就不需要用到多少计算机的处理功能。它消除了外部存储器复制和上下文切换的开销，因而能解放内存带宽和CPU周期用于改进应用系统性能。

4 软硬件兼容关系

4.2 网卡适配的刀片服务器

网卡支持的刀片服务器型号及其安装位置如表4-1所示。

表4-1 网卡适配的刀片服务器

刀片服务器型号	刀片服务器类型	Mezz网卡槽位数量	可安装位置	安装位置图示
H3C UIS B460 G3	2路半宽刀片服务器	3个	Mezz1、Mezz2和Mezz3	网卡在2路半宽刀片服务器上的安装位置
H3C UIS B580 G3	2路全宽刀片服务器	3个	Mezz1、Mezz2和Mezz3	网卡在2路全宽刀片服务器上的安装位置
H3C UIS B780 G3	4路全宽刀片服务器	6个	Mezz1、Mezz2、Mezz3、Mezz4、Mezz5和Mezz6	网卡在4路全宽刀片服务器上的安装位置
H3C UIS B460 G5	2路半宽刀片服务器	3个	Mezz1、Mezz2和Mezz3	网卡在2路半宽刀片服务器上的安装位置

图4-1 网卡在2路半宽刀片服务器上的安装位置

图4-2 网卡在2路全宽刀片服务器上的安装位置

图4-3 网卡在4路全宽刀片服务器上的安装位置

4.3 网卡适配的互联模块

4.3.2 网卡与互联模块的连接关系

IB1040i网卡通过中置背板与互联模块对接使用，当它安装在2路半宽或2路全宽刀片服务器上时，它与互联模块槽位的连接关系如图4-4所示，互联模块槽位请参见图4-6。

· Mezz1位置的网卡连接到1、4槽位的互联模块（ICM）

· Mezz2位置的网卡连接到2、5槽位的互联模块（ICM）

· Mezz3位置的网卡连接到3、6槽位的互联模块（ICM）

图4-4 2路半宽和2路全宽刀片服务器Mezz卡槽位与互联模块的连接关系逻辑图

当IB1040i安装在4路全宽刀片服务器上时，它与互联模块槽位的连接关系如图4-5所示，互联模块槽位请参见图4-6。

· Mezz1和Mezz4位置的网卡连接到1、4槽位的互联模块（ICM）

· Mezz2和Mezz5位置的网卡连接到2、5槽位的互联模块（ICM）

· Mezz3和Mezz6位置的网卡连接到3、6槽位的互联模块（ICM）

图4-5 4路全宽刀片服务器Mezz卡槽位与互联模块的连接关系逻辑图

图4-6 互联模块槽位

4.4 组网应用逻辑图

IB1040i可与互联模块的内部端口对接，每个端口提供100G业务应用。互联模块的外部端口连接外部到Internet网络，实现安装了Mezz网卡的刀片服务器与互联网通信。

图4-7 Mezz网卡与互联模块对接组网

5 配置网卡

本文中展示的软件界面，以某个软件版本为准进行示例；由于软件会不定期更新，请以产品实际显示的软件界面为准。

5.1 网卡与互联模块的端口对应关系

Mezz网卡与互联模块之间的端口对应关系，请参见OM Web界面中的[互联模块管理/端口映射]，或可通过组网查询工具查询。

5.2 网卡的端口在OS下识别

本节介绍如何在OS下确认IB1040i网卡的端口已被操作系统识别。

以Centos7.5和Windows Server 2016为例介绍。

5.2.1 Linux系列操作系统

(1) 执行“lspci | grep MT27800”命令，查看IB1040i网卡的PCI信息。可识别到2个PCI设备，分别对应网卡的两个端口，如图5-1所示。

图5-1 查看PCI信息

(2) 执行“ibstat”命令可以查看到两个端口信息，每个端口对应一个GUID地址。

图5-2 查看网卡端口信息

(3) 执行“ifconfig -a”命令查看网卡的两个IPoIB端口，端口名称以ibX形式显示。若两个端口均显示，则表示网卡的端口已被正常识别，如图5-3所示。如未识别到端口，请参考5.3 网卡在OS下安装和卸载驱动安装最新驱动程序，然后再进行识别。

图5-3 查看网卡IPoIB端口

5.2.2 Windows系列操作系统

(1) 如图5-4所示，打开“Network Connections”，可查看到Mellanox ConnectX-5类型的网络适配器，则IB1040i网卡已正常识别。

图5-4 查看网卡

(2) 如果在“Network Connections”中看不到相应的网络适配器，则打开“Device Manager”。在“Network adapters”的“Other devices”中查看是否存在Unkonwn device，如图5-5所示，并查看其PCIe ID是否与IB1040i网卡符合。如果存在且PCIe ID符合，那么可以判断是驱动存在问题，请参考5.3 网卡在OS下安装和卸载驱动安装最新驱动程序，然后再进行识别；如果不存在，请查看网卡是否安装到位。

图5-5 查看设备管理

5.3 网卡在OS下安装和卸载驱动

IB1040i网卡在不同的系统上使用不同的驱动，安装方法也有所不同，下面分别以Centos7.5和Windows Server 2016为例进行介绍。

5.3.1 Linux系列操作系统

1. 检查当前网卡驱动

执行“modinfo mlx5_core”命令，查看系统当前的驱动版本，如图5-6所示。

图5-6 查看驱动版本

2. 安装驱动

如果获取的驱动是.tgz文件，请按照如下步骤操作：

(1) 将tgz驱动文件（如MLNX_OFED_LINUX-4.6-1.0.1.1-rhel7.5-x86_64.tgz）拷贝到系统中。

(2) 执行“tar -zxvf MLNX_OFED_XXX.tgz”命令，解压驱动包。

(3) 执行“cd MLNX_OFED_LINUX-<ver>”命令进入驱动包目录。

(4) 执行命令“./mlnxofedinstall”安装驱动程序，如图5-7所示。

图5-7 安装驱动

(5) 驱动安装完成后，重启系统或执行“rmmod mlx5_core”和“modprobe mlx5_core”命令重新加载驱动模块，让新驱动生效。

(6) 执行“modinfo mlx5_core”或“ethtool -i ibX”命令确认生效后的新驱动版本，如图5-8所示。其中ibX是1040i对应的IPOIB端口，具体名称用“ifconfig -a”命令查看。

图5-8 检查驱动版本

3. 卸载驱动

在驱动安装包目录下执行“./uninstall.sh”脚本卸载驱动，然后重启系统或执行“rmmod mlx5_core”和“modprobe mlx5_core”命令重新加载旧的驱动模块。