01-正文

本章节下载 (8.30 MB)

01-正文

5.8.2 Bonding配置（Linux）

5.8.3 Teaming配置（Windows）

5.8.4 TCP OFFLOADING

6 FAQ

7 缩略语

1 安全

1.1 安全信息

为了避免操作过程中对人和设备造成伤害，请在操作前，仔细阅读产品相关安全信息。实际操作中，包括但不限于本文描述的安全信息。

1.1.1 运行安全

介绍安装和更换网卡时的安全注意事项。

· 为确保人身和设备安全，只有H3C授权人员或专业的工程师才能安装和更换网卡。

· 安装或更换网卡前，请确保业务已停止运行，并将刀片服务器下电，然后再拆卸刀片服务器。

· 拆卸、搬运或放置刀片服务器时，请勿用力过猛，请确保搬运设备过程中，用力均匀、缓慢。

· 请将刀片服务器放在干净、平稳的工作台或地面上进行维护。

· 为避免组件表面过热造成人身伤害，请确保刀片服务器和内部系统组件冷却后再操作。

1.1.2 电气安全

请仔细检查工作区域内是否存在潜在的危险，如：机箱未接地或接地不可靠、工作区域潮湿等。

1.2 静电防护

1.2.1 防止静电释放

人体或其它导体释放的静电可能会损坏网卡，由静电造成的损坏会缩短网卡的使用寿命。

为避免静电损害，请注意以下事项：

· 在运输和存储网卡时，请将网卡装入防静电包装中。

· 将网卡送达不受静电影响的工作区前，请将它们放在防静电包装中保管。

· 先将网卡放置在防静电工作台上，然后再将其从防静电包装中取出。

· 从防静电包装袋中取出网卡后，请尽快进行安装操作，避免网卡长时间放置在外界环境中。

· 在没有防静电措施的情况下，请勿触摸网卡上的插针和电路元器件。

· 将网卡拆卸后，请将网卡及时放入防静电包装袋中，并妥善保管。

1.2.2 防止静电释放的接地方法

在取放或安装网卡时，用户可采取以下一种或多种接地方法以防止静电释放。

· 佩戴防静电腕带，并将腕带的另一端良好接地。请将腕带紧贴皮肤，且确保其能够灵活伸缩。

· 在工作区内，请穿上防静电服和防静电鞋。

· 请使用导电的现场维修工具。

· 使用防静电的可折叠工具垫和便携式现场维修工具包。

2 认识网卡

图片仅供参考，具体请以实物为准。

ETH522i（型号为NIC-ETH522i-Mb-2*10G，以下简称ETH522i）是一款2端口CNA网卡，提供2*10GE端口，2个端口都支持FCoE（第1个端口支持FCoE boot），适用于B16000机箱的刀片服务器，为刀片服务器提供连接互联模块槽位的网络接口。ETH522i通过x8带宽的PCIe通道与刀片服务器进行数据交换，通过2个10G-KR端口经中置背板与互联模块相连，支持NIC、FCoE、iSCSI的应用，实现融合网络方案。

2.2 外观

ETH522i网卡的外观如图2-1所示。它应用于B16000刀片服务器的2路半宽、2路全宽和4路全宽刀片服务器，具体可安装位置请参见4.2 网卡适配的刀片服务器。

图2-1 ETH522i外观

2.3 规格参数

介绍网卡的产品规格和技术参数。

2.3.1 产品规格

表2-1 产品规格

属性	描述
基本属性
网卡类型	CNA网卡
芯片型号	Cavium BCM57810S
最大功耗	12W
输入电压	12V DC
数据通道总线	PCIe2.1 x8
网络属性
用户接口数量和类型	2*10G-KR
用户接口传输速率	10Gb/s
全双工/半双工	全双工
标准兼容性	802.1p, 802.1q, 802.3ad, 802.3ae, 802.3x, 802.1Qbb, 802.1Qaz, 802.1Qau

2.3.2 技术参数

表2-2 技术参数

类别	项目	说明
物理参数	尺寸（高x宽x长）	25.05mm x 61.60mm x 95.00mm
物理参数	重量	100g
环境参数	温度	工作环境温度：5°C～45°C
	温度	贮存环境温度：-40°C～70°C
	湿度	· 工作环境湿度：8%～90%RH（无冷凝） · 贮存环境湿度：5%～95%RH（无冷凝）
	海拔高度	· 工作环境高度：-60～5000m（自35°C@900m始，高度每升高100m，规格最高温度降低0.33°C） · 贮存环境高度：-60～5000m

3 特性介绍

3.1 支持的特性

介绍ETH522i网卡支持的特性。

图3-1 网卡特性

特性	是否支持
Jumbo Frames	√
Load Balancing	√
802.1Q VLANs	√
QinQ	√
Auto-Negotiation	√
PXE Boot	√
FCoE	√
FCoE Boot	√*（仅UEFI）
iSCSI	√
iSCSI Boot	√*（仅UEFI）
SR-IOV	√
VMDq	√*
Multiple Rx Queues(RSS)	√*
TCP/IP Stateless Offloading	√*
TCP/IP Offload Engine(TOE)	√*
Wake-on-LAN	×
RDMA	×
NPAR	√
NCSI	×
NIC bonding	√
*表示VMware ESXi操作系统不支持该网卡特性。

3.2 功能介绍

1. PXE

ETH522i支持PXE启动。在启动过程中，刀片服务器（PXE Client）先从远端服务器（PXE Server）获取IP地址，再使用TFTP协议下载并执行PXE启动文件，完成客户端的基本软件配置，从而引导客户端实现PXE启动。

2. iSCSI

ETH522i网卡的2个端口都支持iSCSI SAN和iSCSI remote boot技术。

iSCSI是一种能够把SCSI接口与以太网技术相结合的新型存储技术。基于iSCSI协议，设备便能在网络中传输SCSI接口的命令和数据内容了，这样不仅克服了传统SCSI接口设备的局限性，实现让机房之间可以跨越省市来共享存储资源，还可以做到在不停机的状况下扩展存储容量。解除了物理环境限制，可以把存储资源分开给多个服务器一起使用。

3. FCoE

ETH522i网卡的2个端口都支持FCoE SAN，其中的第1个端口支持FCoE boot from san技术。

FCoE是通过以太网络封装光纤通道帧的技术。可以将光纤通道映射到以太网，将光纤通道信息插入以太网信息包内，从而让服务器SAN存储的光纤通道请求和数据可以通过以太网来传输，而无需专门的光纤通道结构。FCoE允许在一根通信线缆上传输LAN和FC SAN数据，减少数据中心设备和线缆数量，同时降低供电和制冷负载。

4. NPAR

NPAR通过每个端口上具有的多个PF将网卡划分为多个分区。

ETH522i网卡的2个端口都支持一分四，也就是每个物理端口可以划分成4个分区，一张网卡最终可分出8个分区。

5. SR-IOV

ETH522i网卡的2个端口都支持SR-IOV。

SR-IOV允许用户整合其网络硬件资源，并在整合的硬件上同时运行多个虚拟机。虚拟化还为用户提供了丰富的功能，例如I/O共享、整合、隔离和迁移，以及简化管理。虚拟化可能会因管理程序的开销导致性能降低，PCI-SIG引入了SR-IOV规范，通过创建VF来解决性能问题，虚拟功能是一种直接分配给虚拟机的轻量级PCIe功能，绕过管理程序层进行主数据移动。

PF是全功能的PCIe功能，VF是PF分离出的轻量级PCIe功能，可直接将VF指定给相应的应用程序，虚拟功能共享物理设备的资源，并在没有CPU和虚拟机管理程序开销的情况下执行I/O。

ETH522i网卡支持每个PF创建0到63，共64个VF，增量为8。

6. VLAN

· 802.1Q VLAN

ETH522i网卡每个端口最大支持4094个VLAN，取值范围为1～4094。

网卡不会处理报文的tag（打tag或者去tag操作），VLAN ID由OS指定，网卡只是透传。

VLAN是一组逻辑上的设备和用户，工作在OSI参考模型的第二层和第三层。一个VLAN就是一个广播域，VLAN之间的通信是通过第三层的路由器来完成的。与传统的局域网技术相比，VLAN技术更加灵活，添加和修改管理开销少，可以控制广播活动，可提高网络安全性。

· IEEE 802.1ad Provider Bridges (QinQ)

QinQ（Q-in-Q）是IEEE 802.1ad Provider Bridges标准的实现，它是IEEE 802.1Q VLAN标准的扩展。QinQ通过在以太网中添加额外的802.1Q标记（VLAN ID字段），在VLAN内创建VLAN来进一步隔离流量。

7. BONDING（Linux）

BONDING包括如下7种模式，其中常用的有mode=0、mode=1和mode=6三种：

· mode=0，即：（balance-rr）Round-robin policy（平衡轮循环策略），数据包在两个SLAVE之间顺序依次传输；

· mode=1，即：（active-backup）Active-backup policy（主-备策略）。只有主设备处于活动状态，当主设备宕机后备设备转换为主设备；

· mode=2，即：（balance-xor）XOR policy（平衡策略），基于指定的传输HASH策略传输数据包；

· mode=3，即：broadcast（广播策略），在每个SLAVE接口上传输每个数据包，此模式提供了容错能力；

· mode=4，即：（802.3ad）IEEE 802.3ad Dynamic link aggregation（IEEE 802.3ad动态链路聚合）,创建一个聚合组，它们共享同样的额定速率和双工设定，外出流量的SLAVE选择是基于传输hash策略的。此模式需要交换机支持IEEE 802.3ad，且要经过特定的配置；

· mode=5，即：（balance-tlb）Adaptive transmit load balancing（适配器传输负载均衡）。不需要任何特别的交换机支持，在每个SLAVE上根据当前的负载（根据速度计算）分配外出流量，如果正在接受流量的SLAVE故障，另一个SLAVE接管失败SLAVE的MAC地址；

· mode=6，即：（balance-alb）Adaptive load balancing（适配器适应性负载均衡）。该模式包含了balance-tlb模式，同时加上针对IPV4流量的接收负载均衡，通过ARP协商实现，不需要交换机支持。BONDING驱动截获本机发送的ARP应答，并把源硬件地址改为BOND中某个SLAVE的唯一硬件地址，从而使得不同的对端使用不同的硬件地址进行通信。

8. Teaming（Windows）

以集成在Windows Server 2012 R2中的Teaming解决方案为例，一般的NIC Teaming模式有三种：

· 静态成组（Static Teaming）：是一种依赖于交换机（Switch-dependent）的组合方式，要求交换机的支持，并且成员网卡不能分散到不同的交换机上。

· 交换机独立（Switch Independent）：网卡组合不需要交换机的参与，这样网卡可以连接到不同的交换机上，而且在连接不同交换机时采用的是主备模式，只有连接在同一交换机时才可以实现负载均衡聚合。

· LACP：类似静态成组，需要先在交换机中启用LACP，会把多块网卡合并成一个逻辑的线路，这种组合方式的速度是最快的。

除了Teaming模式需要配置之外，还需要配置负载均衡的模式，模式也有三种：

· 地址哈希（Address Hash）：启用后，数据包到达Teaming后，会根据目的地址信息（MAC地址，IP地址和端口号）执行哈希算法，通过算法结果，NIC Team决定由哪块物理网卡发送数据包。这种方式无法控制流量的走向，如果有大量数据是流向一个目标地址的，那么只会通过一块物理网卡来发送。

· Hyper-V端口：正如名字显示的，用于Hyper-V的模式，与无法控制的地址哈希相比，这种方式效率更高，数据会通过绑定虚拟网卡的不同物理网卡传输，同时这种绑定是基于每个虚拟网卡，而不是每台虚拟机的。如果是使用Hyper-V外部虚拟机交换机建议选择这种方式。

· 动态：这种方式是最优化的方式，从Windows Server 2012 R2中新引入，数据会被平分到所有网卡上，最大效率的利用带宽。

9. TCP OFFLOADING

TCP卸载是一种TCP加速技术，将TCP/IP堆叠的工作卸载到网络接口控制器上，用硬件来完成。在高速以太网，如10GE以太网上，处理TCP/IP数据包表头工作变得较为沉重，会占用大量的CPU资源，而由网卡硬件进行处理可以减轻处理器的负担，解放出来的CPU资源可以专注于其他的应用。

4 软硬件兼容关系

4.1 支持的操作系统

网卡与OS的兼容关系，请参见OS兼容性查询工具。

4.2 网卡适配的刀片服务器

网卡支持的刀片服务器型号及其安装位置如表4-1所示。

表4-1 网卡适配的刀片服务器

刀片服务器型号	刀片服务器类型	Mezz网卡槽位数量	可安装位置
H3C UniServer B5700 G3	2路半宽刀片服务器	3个	Mezz1、Mezz2和Mezz3
H3C UniServer B5800 G3	2路全宽刀片服务器	3个	Mezz1、Mezz2和Mezz3
H3C UniServer B7800 G3	4路全宽刀片服务器	6个	Mezz1、Mezz2、Mezz3、Mezz4、Mezz5和Mezz6
H3C UniServer B5700 G5	2路半宽刀片服务器	3个	Mezz1、Mezz2和Mezz3

图4-1 网卡在2路半宽刀片服务器上的安装位置

图4-2 网卡在2路全宽刀片服务器上的安装位置

图4-3 网卡在4路全宽刀片服务器上的安装位置

4.3 网卡适配的互联模块

4.3.1 网卡与互联模块的适配关系

Mezz网卡和互联模块的适配关系，请通过刀片服务器互联模块和Mezz卡兼容性查询工具查询。

4.3.2 网卡与互联模块的连接关系

互联模块和刀片服务器Mezz网卡详细连接关系，请通过组网查询工具查询。

ETH522i网卡通过中置背板与互联模块对接使用，当它安装在2路半宽或2路全宽刀片服务器上时，它与互联模块槽位的连接关系如图4-4所示，互联模块槽位请参见图4-6。

· Mezz1位置的网卡连接到1、4槽位的互联模块（ICM）

· Mezz2位置的网卡连接到2、5槽位的互联模块（ICM）

· Mezz3位置的网卡连接到3、6槽位的互联模块（ICM）

图4-4 2路半宽和2路全宽刀片服务器Mezz卡槽位与互联模块的连接关系逻辑图

当ETH522i安装在4路全宽刀片服务器上时，它与互联模块槽位的连接关系如图4-5所示，互联模块槽位请参见图4-6。

· Mezz1和Mezz4位置的网卡连接到1、4槽位的互联模块（ICM）

· Mezz2和Mezz5位置的网卡连接到2、5槽位的互联模块（ICM）

· Mezz3和Mezz6位置的网卡连接到3、6槽位的互联模块（ICM）

图4-5 4路全宽刀片服务器Mezz卡槽位与互联模块的连接关系逻辑图

图4-6 互联模块槽位

4.4 组网应用

ETH522i可与互联模块的内部端口对接，每个端口提供10GE以太网业务应用。互联模块的外部端口连接外部到Internet网络，实现安装了Mezz网卡的刀片服务器与互联网通信。

图4-7 Mezz网卡与互联模块对接组网

5 配置网卡

本文中展示的软件界面，以某个软件版本为准进行示例；由于软件会不定期更新，请以产品实际显示的软件界面为准。

5.1 网卡与互联模块的端口对应关系

Mezz网卡与互联模块之间的端口对应关系，请参见OM Web界面中的[计算节点管理/端口映射]。

5.2 网卡的端口在OS下识别

本节介绍如何在OS下确认ETH522i的端口已被操作系统识别。

以Centos7.4和Windows Server 2012 R2为例介绍。

5.2.1 Linux系列操作系统

(1) 执行“lspci | grep BCM57810”命令，查看ETH522i网卡的PCI信息。2个PCI设备对应网卡的2个端口，如图5-1所示：

图5-1 查看PCI信息

(2) 执行“ifconfig -a”命令查看网卡的2个NIC端口（端口名称由OS命名规则决定），表示网卡的端口已被识别，如图5-2所示。如未识别到端口，请参考5.3 网卡在OS下安装和卸载驱动安装最新驱动程序，然后再进行识别。

图5-2 查看网卡端口信息

需要注意的是：如果网卡开启了NPAR功能，则每个端口会分成4个端口，一共有8个端口。执行“lspci | grep BCM57810”可以查看到8个PCI设备，如图5-3所示。

图5-3 开启NPAR的网卡

5.2.2 Windows操作系统

(1) 如图5-4所示，打开“Network Connections”，可查看到Qlogic 57810类型的网络适配器，则ETH522i网卡已正常识别。

图5-4 查看网卡

(2) 如果在“Network Connections”中看不到相应的网络适配器，则打开“Device Manager”，如图5-5所示。在“Network adapters”的“Other devices”中查看是否存在Ethernet Controller。如果存在，那么可以判断是驱动存在问题，请参考5.3 网卡在OS下安装和卸载驱动安装最新驱动程序，然后再进行识别；如果不存在，请查看网卡是否安装到位。

图5-5 查看设备管理

5.3 网卡在OS下安装和卸载驱动

H3C ETH522i网卡在不同的系统上使用不同的驱动，安装方法也有所不同，下面分别以Centos7.4和Windows Server 2012 R2为例进行介绍。

5.3.1 Linux系列操作系统

1. 检查当前网卡驱动

执行“modinfo bnx2x”命令，查看系统当前的驱动版本，如图5-6所示。

图5-6 查看驱动版本

2. 安装驱动

· 安装.rpm格式的驱动

如果获取的驱动是.rpm文件，则可以直接运行安装。请按照如下步骤操作：

(1) 将RPM驱动文件（如kmod-netxtreme2-7.14.46-1.rhel7u4.x86_64.rpm）拷贝到系统中。

(2) 执行“rpm –ivh文件名.rpm”命令，安装驱动程序，如图5-7所示。

图5-7 安装驱动

(3) 驱动安装完成后，重启系统或执行“rmmod bnx2x”和“modprobe bnx2x”命令重新加载驱动模块，让新驱动生效。

(4) 执行“modinfo bnx2x”或“ethtool –i ethX”命令确认生效后的新驱动版本，如图5-8所示。其中ethX是ETH522i对应的NIC端口，具体名称视情况而定。

图5-8 检查驱动版本

· 安装.tar.gz格式的源码包

如果获取的驱动是源码类型的压缩包，则需要进行编译安装。请按照如下步骤操作：

(1) 执行“tar –zxvf netxtreme2-<ver>.tar.gz”命令解压源码包。

(2) 执行“cd netxtreme2-<ver>”命令进入源码包目录。

(3) 执行“make install”命令进行编译安装，如图5-9所示。

图5-9 编译安装

(4) 驱动安装完成后，重启系统或执行“rmmod bnx2x”和“modprobe bnx2x”命令重新加载驱动模块，让新驱动生效。

3. 卸载驱动

执行“rpm –e kmod-netxtreme2”命令可将rpm包卸载，然后重启系统或执行“rmmod bnx2x”和“modprobe bnx2x”命令重新加载旧的驱动模块。