01-正文

本章节下载 (11.94 MB)

01-正文

5.1 网卡端口与互联模块内部端口的连接关系

5.9.3 Teaming（Windows）

5.9.4 TCP OFFLOADING

6 缩略语

1 安全

1.1 安全信息

为了避免操作过程中对人和设备造成伤害，请在操作前，仔细阅读产品相关安全信息。实际操作中，包括但不限于本文描述的安全信息。

1.1.1 运行安全

介绍安装和更换网卡时的安全注意事项。

· 为确保人身和设备安全，只有H3C授权人员或专业的工程师才能安装和更换网卡。

· 安装或更换网卡前，请确保业务已停止运行，并将刀片服务器下电，然后再拆卸刀片服务器。

· 拆卸、搬运或放置刀片服务器时，请勿用力过猛，请确保搬运设备过程中，用力均匀、缓慢。

· 请将刀片服务器放在干净、平稳的工作台或地面上进行维护。

· 为避免组件表面过热造成人身伤害，请确保刀片服务器和内部系统组件冷却后再操作。

1.1.2 电气安全

请仔细检查工作区域内是否存在潜在的危险，如：机箱未接地或接地不可靠、工作区域潮湿等。

1.2 静电防护

1.2.1 防止静电释放

人体或其它导体释放的静电可能会损坏网卡，由静电造成的损坏会缩短网卡的使用寿命。

为避免静电损害，请注意以下事项：

· 在运输和存储网卡时，请将网卡装入防静电包装中。

· 将网卡送达不受静电影响的工作区前，请将它们放在防静电包装中保管。

· 先将网卡放置在防静电工作台上，然后再将其从防静电包装中取出。

· 从防静电包装袋中取出网卡后，请尽快进行安装操作，避免网卡长时间放置在外界环境中。

· 在没有防静电措施的情况下，请勿触摸网卡上的插针和电路元器件。

· 将网卡拆卸后，请将网卡及时放入防静电包装袋中，并妥善保管。

1.2.2 防止静电释放的接地方法

在取放或安装网卡时，用户可采取以下一种或多种接地方法以防止静电释放。

· 佩戴防静电腕带，并将腕带的另一端良好接地。请将腕带紧贴皮肤，且确保其能够灵活伸缩。

· 在工作区内，请穿上防静电服和防静电鞋。

· 请使用导电的现场维修工具。

· 使用防静电的可折叠工具垫和便携式现场维修工具包。

2 认识网卡

图片仅供参考，具体请以实物为准。

ETH682i Mezz网卡（型号为NIC-ETH682i-Mb-2*25G，以下简称ETH682i）是一款2端口CNA卡，提供2*25GE端口，2个端口都支持FCoE和FCoE boot，适用于UIS 9000一体机的刀片服务器，为刀片服务器提供连接互联模块的网络接口。ETH682i通过x8带宽的PCIe3.0通道与刀片服务器进行数据交换，通过2个25GE端口经中置背板与互联模块相连，支持NIC、iSCSI和FCoE等应用，实现融合网络方案。

2.2 外观

ETH682i Mezz网卡的外观如图2-1所示。该网卡应用于UIS 9000一体机刀片服务器的2路半宽、2路全宽和4路全宽刀片服务器，具体安装位置请参见4.2 网卡适配的刀片服务器。

图2-1 ETH682i外观

2.3 规格参数

介绍网卡的产品规格和技术参数。

2.3.1 产品规格

表2-1 产品规格

属性	描述
基本属性
网卡类型	CNA网卡
芯片型号	Marvell QL41262A-A2G
最大功耗	13W
输入电压	12V DC
数据通道总线	PCIe3.0 x8
网络属性
用户接口数量和类型	2*25G-KR
用户接口传输速率	25Gb/s
全双工/半双工	全双工
标准兼容性	802.1Qbb 802.1Qaz 802.1Qau 802.1Qbg 802.1Qbh 802.3ad 802.1Qau 802.1BR 802.1AS 802.1p/Q

2.3.2 技术参数

表2-2 技术参数

类别	项目	说明
物理参数	尺寸（高x宽x长）	25.05mm x 61.60mm x 95.00mm
物理参数	重量	100g
环境参数	温度	工作环境温度：5°C～45°C
	温度	贮存环境温度：-40°C～70°C
	湿度	· 工作环境湿度：8%～90%RH（无冷凝） · 贮存环境湿度：5%～95%RH（无冷凝）
	海拔高度	· 工作环境高度：-60～5000m（自35°C@900m始，高度每升高100m，规格最高温度降低0.33°C） · 贮存环境高度：-60～5000m

3 特性介绍

3.1 支持的特性

介绍ETH682i网卡支持的特性。

表3-1 网卡特性

特性		是否支持
Jumbo Frames		√
Load Balancing		√
802.1Q VLANs		√
QinQ		√
Auto-Negotiation		√
FCoE		√
iSCSI		√
SR-IOV		√
VMDq		√¹
Multiple Rx Queues(RSS)		√¹
TCP/IP Stateless Offloading		√¹
TCP/IP Offload Engine(TOE)		√¹
Wake-on-LAN		×
RDMA		√
NPAR		√
NCSI		×
NIC bonding		√
LLDP		√
远程引导功能	PXE Boot	√^#
	FCoE Boot	√^1#
	iSCSI Boot	√^1#
· √表示网卡支持此特性，×表示不支持。 · ¹表示VMware ESXi操作系统不支持该网卡特性。 · 远程引导功能与启动模式相关。^#表示仅UEFI模式下支持该网卡特性，legacy模式下不支持；无^#标识则表示两种模式下均支持该网卡特性。

3.2 功能介绍

1. PXE Boot

ETH682i支持PXE启动。在启动过程中，刀片服务器中的Mezz网卡（PXE Client）先从远端服务器（PXE Server）获取IP地址，再使用TFTP协议下载并执行PXE启动文件，完成客户端的基本软件配置，从而引导客户端实现PXE启动。

2. iSCSI

ETH682i网卡的2个端口都支持iSCSI SAN，且支持iSCSI remote boot技术。

iSCSI是一种能够把SCSI接口与以太网技术相结合的新型存储技术。基于iSCSI协议，设备能在网络中传输SCSI接口的命令和数据内容，克服了传统SCSI接口设备的局限性，实现机房之间跨越省市共享存储资源；支持在线扩容以至动态部署，在不停机的状况下扩展存储容量；解除了物理环境限制，可以把存储资源分别提供给多个服务器使用。

3. FCoE

ETH682i网卡的2个端口都支持FCoE SAN，且支持FCoE boot from san技术。

FCoE是通过以太网络封装光纤通道帧的技术，可以将光纤通道映射到以太网，将光纤通道信息插入以太网信息包内，从而让服务器SAN存储的光纤通道请求和数据可以通过以太网来传输，而无需专门的光纤通道结构。FCoE允许在一根通信线缆上传输LAN和FC SAN数据，减少数据中心设备和线缆数量，同时降低供电和制冷负载。

4. NPAR

ETH682i网卡的2个端口都支持NPAR。

每个PCIe设备可以包含多个物理分区PF。PF是拥有完整功能的PCIe分区，PF可以像PCIe设备一样被发现，管理和操作，并且PF具有完整的配置空间。可以通过PF配置或控制PCIe设备，并且PF具有将数据移入和移出设备的完整功能。每个PF都是独立的，软件将其视为独立的PCIe设备，从而允许将多个设备集成在同一芯片中。

NPAR是一种网卡分区的技术，将网卡端口划分为多个PF，多个PF可以分别支持不同的特性。

ETH682i网卡的2个端口都支持一分八，也就是每个物理端口可以划分成8个PF，一张网卡最终可分出16个PF。

5. SR-IOV

ETH682i网卡的2个端口都支持SR-IOV。

SR-IOV技术是一种基于硬件的虚拟化解决方案，是PCIe规范的扩展，可以提高性能和可伸缩性。SR-IOV允许用户整合其网络硬件资源，并在整合的硬件上同时运行多个虚拟机，由于是在硬件中实现的，所以虚拟机可以获得能够与本机性能媲美的I/O性能。虚拟化还为用户提供了丰富的功能，例如I/O共享、整合、隔离、迁移、以及简化管理。

SR-IOV允许设备在各种PCIe硬件功能之间分离对其资源的访问。PF是网卡的一个PCIe物理分区，VF是PF分离出的轻量级PCIe逻辑分区，可直接将VF指定给相应的应用程序，虚拟功能共享物理设备的资源，并在没有CPU和虚拟机管理程序开销的情况下执行I/O。

ETH682i网卡支持每个PF创建0到96个VF。

6. VLAN

· 802.1Q VLAN

ETH682i网卡每个端口最大支持4094个VLAN，VLAN ID的取值范围为1～4094。

网卡不会处理报文的tag（打tag或者去tag操作），VLAN ID由OS指定，网卡只是透传。

VLAN是一组逻辑上的设备和用户，工作在OSI参考模型的第二层和第三层。一个VLAN就是一个广播域，VLAN之间的通信是通过第三层的路由器来完成的。与传统的局域网技术相比，VLAN技术更加灵活，添加和修改管理开销少，可以控制广播活动，提高网络安全性。

7. Bonding

bonding是一种linux操作系统下的网卡绑定技术，可以将服务器上多个物理网卡在操作系统内部绑定成一个逻辑网卡，可用于提升网络吞吐量，提高可用性，实现网络冗余、负载均衡等功能。

bonding包括如下7种模式，其中常用的有mode=0、mode=1和mode=6三种：

· mode=0，即：（balance-rr）Round-robin policy（平衡轮循环策略），数据包在备设备之间顺序依次传输；

· mode=1，即：（active-backup）Active-backup policy（主-备策略），只有主设备处于活动状态，当主设备宕掉后备设备转换为主设备；

· mode=2，即：（balance-xor）XOR policy（平衡策略），基于指定的传输HASH策略传输数据包；

· mode=3，即：broadcast（广播策略），在每个备设备接口上传输每个数据包，此模式提供了容错能力；

· mode=4，即：（802.3ad）IEEE 802.3ad Dynamic link aggregation（IEEE 802.3ad动态链路聚合），创建一个聚合组，组内成员共享同样的额定速率和双工设定，外出流量的备设备选择是基于传输hash策略的。此模式需要交换机支持IEEE 802.3ad，且要经过特定的配置；

· mode=5，即：（balance-tlb）Adaptive transmit load balancing（适配器传输负载均衡）。不需要任何特别的交换机支持，在每个备设备上根据当前的负载（根据速度计算）分配外出流量，如果正在接受流量的备设备故障，另一个备设备接管失败备设备的MAC地址；

· mode=6，即：（balance-alb）Adaptive load balancing（适配器适应性负载均衡）。该模式包含了balance-tlb模式，同时加上针对IPv4流量的接收负载均衡，通过ARP协商实现，不需要交换机支持。bonding驱动截获本机发送的ARP应答，并把源硬件地址改为bonding中某个备设备的唯一硬件地址，从而使得不同的对端使用不同的硬件地址进行通信。

8. Teaming

teaming技术与bonding技术类似，就是把同一台服务器上的多个物理网卡通过软件绑定成一个虚拟的网卡，对于外部网络而言，这台服务器只有一个可见的网卡。对于任何应用程序，以及本服务器所在的网络，这台服务器只有一个网络链接或者说只有一个可以访问的IP地址。

teaming技术在windows和linux中均可支持，本文以集成在Windows Server中的teaming解决方案为例进行介绍。

多网卡组建teaming的模式有三种：

· 静态成组（Static teaming）：是一种依赖于交换机（Switch-dependent）的组合方式，需要在交换机上进行配置，并且成员网卡都必须连接在同一个物理交换机上。

· 交换机独立（Switch Independent）：网卡组合不需要交换机的参与，这样网卡可以连接到不同的交换机上，而且在连接不同交换机时采用的是主备模式，只有连接在同一交换机时才可以实现负载均衡聚合。

· LACP：类似静态成组，需要先在交换机中启用LACP，把多个网卡合并成一个逻辑线路，这以LACP方式配置时数据传输速度最快。

组建teaming后，还需要配置负载均衡模式，也有三种模式可选：

· 地址哈希模式：启用后，数据包到达teaming后，会根据目的地址信息（MAC地址、IP地址和端口号）执行哈希算法，通过算法结果，NIC Team决定由哪块物理网卡发送数据包。这种方式无法控制流量走向，如果有大量数据是流向一个目标地址的，那么只会通过一块物理网卡来发送。

· Hyper-V端口模式：用于Hyper-V的模式，因为每个虚拟机都有独立的MAC地址，所以虚拟机的MAC地址或者虚拟机所连接的Hyper-V端口可以做为划分流量的基础。与无法控制流量走向的地址哈希相比，这种方式流量分发的效率更高，数据会通过绑定虚拟网卡的不同物理网卡传输，同时这种绑定是基于每个虚拟网卡，而不是每台虚拟机的。使用Hyper-V外部虚拟机交换机时，建议选择这种方式。

· 动态模式：这种方式是最优化的方式，从Windows Server 2016后引入，数据会被平分到所有网卡上，最大效率利用带宽。

9. TCP OFFLOADING

TCP卸载是一种TCP加速技术。在高速以太网，如10GE以太网上，处理TCP/IP数据包表头工作变得较为沉重，会占用大量的CPU资源，而由网卡硬件进行处理可以减轻CPU的负担，解放出来的CPU资源可以专注于其他的应用。

OFFLOAD是将本来该操作系统进行的一些数据处理（如分片、重组等）工作放到网卡硬件中去，以便降低系统CPU消耗的同时，提高处理性能。其中与TCP相关的主要有TSO、LSO、LRO、GSO、GRO等。

TSO（TCP Segmentation Offload）顾名思义就是用来切分TCP数据包的，一般实用中称之为LSO/LRO，分别对应Large Segment Offload发送和Large Receive Offload接受两个方向。发送数据超过MTU限制时，OS只需提交一次传输请求给网卡，网卡会自动进行切分和封装再发送，当收到很多碎片包时，LRO可以辅助自动组合成一段较大的数据，一次性提交给OS处理。

但在实际应用中，GSO（Generic Segmentation Offload）和GRO（Generic Receive Offload）更加通用，它们自动检测网卡支持特性，支持分包则直接发给网卡，否则先分包后发给网卡。

10. RDMA

RDMA是一种远程直接数据存取的技术，是为了解决网络传输中服务器端数据处理的延迟而产生的。RDMA通过网络把数据直接传入计算机的存储区，将数据从一个系统快速移动到远程系统存储器中，而不对操作系统造成任何影响，这样就不需要用到多少计算机的处理功能。它消除了外部存储器复制和上下文切换的开销，因而能解放内存带宽和CPU周期，改进应用系统性能。

ETH682i网卡支持iWARP和RoCE两种以太网RDMA协议。

4 软硬件兼容关系

4.1 支持的操作系统

网卡与OS的兼容关系，请参见OS兼容性查询工具。

4.2 网卡适配的刀片服务器

网卡适配的刀片服务器型号及其安装位置如表4-1所示。

表4-1 网卡适配的刀片服务器

刀片服务器型号	刀片服务器类型	Mezz网卡槽位数量	可安装位置	安装位置图示
H3C UniServer B5700 G3	2路半宽刀片服务器	3个	Mezz1、Mezz2和Mezz3	网卡在2路半宽刀片服务器上的安装位置
H3C UniServer B5800 G3	2路全宽刀片服务器	3个	Mezz1、Mezz2和Mezz3	网卡在2路全宽刀片服务器上的安装位置
H3C UniServer B7800 G3	4路全宽刀片服务器	6个	Mezz1、Mezz2、Mezz3、Mezz4、Mezz5和Mezz6	网卡在4路全宽刀片服务器上的安装位置
H3C UniServer B5700 G5	2路半宽刀片服务器	3个	Mezz1、Mezz2和Mezz3	网卡在2路半宽刀片服务器上的安装位置

图4-1 网卡在2路半宽刀片服务器上的安装位置

图4-2 网卡在2路全宽刀片服务器上的安装位置

图4-3 网卡在4路全宽刀片服务器上的安装位置

4.3 网卡适配的互联模块

4.3.1 网卡与互联模块的适配关系

ETH682i网卡支持的互联模块：

· H3C UniServer BT616E

· H3C UniServer BT1004E

· H3C UniServer BX1010E

· H3C UniServer BX1020EF

4.3.2 网卡与互联模块的连接关系

交换模块和刀片服务器Mezz网卡详细连接关系，请通过组网查询工具查询。

ETH682i网卡通过中置背板与互联模块对接使用，当它安装在2路半宽或2路全宽刀片服务器上时，它与互联模块槽位的连接关系如图4-4所示，互联模块槽位请参见图4-6。

· Mezz1位置的网卡连接到1、4槽位的互联模块（ICM）

· Mezz2位置的网卡连接到2、5槽位的互联模块（ICM）

· Mezz3位置的网卡连接到3、6槽位的互联模块（ICM）

图4-4 2路半宽和2路全宽刀片服务器Mezz卡槽位与互联模块的连接关系逻辑图

当ETH682i安装在4路全宽刀片服务器上时，它与互联模块槽位的连接关系如图4-5所示，互联模块槽位请参见图4-6。

· Mezz1和Mezz4位置的网卡连接到1、4槽位的互联模块（ICM）

· Mezz2和Mezz5位置的网卡连接到2、5槽位的互联模块（ICM）

· Mezz3和Mezz6位置的网卡连接到3、6槽位的互联模块（ICM）

图4-5 4路全宽刀片服务器Mezz卡槽位与互联模块的连接关系逻辑图

图4-6 互联模块槽位

4.4 组网应用

ETH682i可与互联模块的内部端口对接，每个端口提供25GE以太网业务应用。互联模块的外部端口连接外部到Internet网络，实现安装了Mezz网卡的刀片服务器与互联网通信。

图4-7 Mezz网卡与互联模块对接组网

5 配置网卡

本文中展示的软件界面，以某个软件版本为准进行示例；由于软件会不定期更新，请以产品实际显示的软件界面为准。

5.1 网卡端口与互联模块内部端口的连接关系

Mezz网卡与互联模块之间的端口对应关系，请参见OM Web界面中的[刀片服务器管理/端口映射]，或通过组网查询工具查询。

5.2 OS下查看网卡端口信息

本节介绍如何在OS下查看ETH682i的端口信息，以CentOS 7.5和Windows Server 2016为例介绍。

5.2.1 Linux系列操作系统

(1) 执行“lspci | grep QL41000”命令，查看ETH682i网卡的PCI设备信息。每张卡通常情况下可识别到最少2个PCI设备，还可能因为开启了FCoE offload和iSCSI offload功能，识别到多个存储功能相关的PCI设备，如图5-1所示。

图5-1 查看PCI信息

由于部分网卡网卡（如ETH681i和ETH682i）芯片型号相同，因此，如果同时安装了芯片型号相同的多张网卡，为了确认网卡具体型号，可以在“lspci”命令查询出网卡的总线号后，再执行命令“lspci -vvvnn -s BUS | grep Product”查询网卡网卡具体型号，其中BUS表示网卡的总线号。

图5-2 确认网卡型号

需要注意的是，如果网卡开启了NPAR功能，执行“lspci | grep QLogic”命令时会看到16个PCI设备，如图5-3所示。

图5-3 开启NPAR的网卡

(2) 如图5-4所示，执行“ifconfig -a”命令查看网卡的2个NIC端口（端口名称由OS命名规则决定），表示网卡的端口已被识别。如未识别到端口，请参考5.3 OS下安装和卸载网卡驱动安装最新驱动程序，然后再进行识别。

图5-4 查看网卡端口信息

5.2.2 Windows操作系统

(1) 如图5-5所示，打开“Network Connections”，可查看到ETH682i类型的网络适配器，则网卡已正常识别。

图5-5 查看网卡

(2) 如果在“Network Connections”中看不到相应的网络适配器，则打开“Device Manager”。在“Network adapters”的“Other devices”中查看是否存在Ethernet Controller，如图5-6所示。如果存在，那么可以判断是驱动存在问题，请参考5.3 OS下安装和卸载网卡驱动安装最新驱动程序，然后再进行识别；如果不存在，请查看网卡是否安装到位。

图5-6 查看设备管理

5.3 OS下安装和卸载网卡驱动

ETH682i网卡在不同的操作系统下使用不同的驱动，安装方法也有所不同，下面分别以CentOS 7.5和Windows Server 2016为例进行介绍。

5.3.1 Linux系列操作系统

1. 检查当前网卡驱动

如图5-7所示，执行“modinfo qede”命令，查看当前的驱动版本。

图5-7 查看驱动版本

2. 安装驱动

· 安装.rpm格式的驱动

如果获取的驱动是.rpm文件，则可以直接运行安装。请按照如下步骤操作：

(1) 将RPM驱动文件（如kmod-qlgc-fastlinq-8.38.2.0-1.rhel7u5.x86_64.rpm）拷贝到操作系统中。

(2) 执行“rpm -ivh文件名.rpm”命令，安装驱动程序，如图5-8所示。

图5-8 安装驱动

(3) 驱动安装完成后，重启操作系统，以便重新加载驱动，使新驱动生效。

(4) 执行“modinfo qede”或“ethtool -i ethX”命令确认生效后的新驱动版本，如图5-9所示。其中ethX是ETH682i对应的NIC端口，可以根据5.2 OS下查看网卡端口信息的方法确认。

图5-9 检查驱动版本

· 安装.tar.gz格式的源码包

如果获取的驱动是.tar.gz格式的源码压缩包，则需要进行编译安装。请按照如下步骤操作：

(1) 执行“tar -zxvf fastlinq-<ver>.tar.gz”命令解压源码包。

(2) 执行“cd fastlinq-<ver>”命令进入源码包目录。

(3) 执行“make install”命令进行编译安装，如图5-10所示。

图5-10 编译安装

(4) 驱动安装完成后，重启操作系统或执行“rmmod qede”和“modprobe qede”命令重新加载驱动，让新驱动生效。

3. 卸载驱动

执行“rpm -e kmod-qlgc-fastlinq”命令可将rpm包卸载，然后重启操作系统或执行“rmmod qede”和“modprobe qede”命令重新加载旧的驱动程序。