H3C UniServer B16000刀箱高密横向扩展组网部署指南

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

目  录

1 高密横向扩展组网··· 1-1

1.1 方案简介·· 1-1

1.2 组网方案·· 1-1

1.2.1 组网介绍·· 1-1

1.2.2 组网设备·· 1-3

1.3 适用场景及特点·· 1-4

2 部署高密横向扩展组网··· 2-1

2.1 组网需求·· 2-1

2.2 配置思路·· 2-4

2.3 使用版本·· 2-5

2.4 注意事项·· 2-5

2.5 配置步骤·· 2-5

2.5.1 搭建硬件环境·· 2-5

2.5.2 配置软件功能·· 2-6

2.6 验证连通性及链路冗余·· 2-22

1 高密横向扩展组网

1.1  方案简介

高密横向扩展组网方案基于H3C UniServer B16000刀片服务器，结合最新设计的BT1004E以太网级联模块，是一种将多框高密度的刀片服务器统一部署的高性能组网架构。通过BT1004E连接TOR交换机集中上行的方式，组网为多框刀片服务器提供统一的对外数据出口，集中连接和部署的方式也增强了刀片服务器的横向扩展性。

该方案支持多框统一部署和管理，具有高密度、高可扩展性及灵活配置等特点。相较于传统的单框互联模块部署方式，高密横向扩展组网减少了布线，降低了组网整体成本和后期运维成本，减轻了组网配置的复杂性，便于大规模统一管理。

如图1-1所示，高密横向扩展组网由TOR交换机和B16000刀箱中的刀片服务器、BT1004E级联模块、OM模块以及AE模块组成。业务网络连接TOR交换机；TOR交换机负责网络的集中管理和上下行连接，提供刀片服务器业务数据对外出口；级联模块负责将刀片服务器网络与TOR交换机直连；通过OM模块管理刀箱部件，如刀片服务器、互联模块、风扇模块、电源模块等都可以通过OM统一监控管理；通过AE模块中缺省部署的UniSystem管理软件，可以实现组网中所有刀片服务器的操作系统安装。

图1-1 高密横向扩展组网逻辑图

 

1.2  组网方案

1.2.1  组网介绍

本文通过图1-2中的典型组网，以其中一个刀箱的线缆连接为例，介绍高密横向扩展组网的架构。

如图1-2所示，多个42U的标准机柜中，部署了如下设备：

·     每个机柜中，部署了三个B16000刀箱（高度12U）；其中两个机柜各部署了一个TOR交换机（高度1U～3U）。

·     TOR交换机：三个机柜中配置了两个TOR交换机，且组建了IRF，以提升网络可靠性。TOR交换机必须包含QSFP28端口，推荐使用H3C S9820系列交换机或H3C S9850系列交换机。

·     BT1004E以太网级联模块：

¡     每个B16000刀箱中，配置了两个BT1004E级联模块，安装在如下成对的槽位。成对槽位包括：1号和4号槽位、2号和5号槽位、3号和6号槽位。

¡     BT1004E级联模块通过刀箱内部的中置背板连接刀箱中的所有刀片服务器。

¡     BT1004E级联模块的四个外部端口，两两端口分别与两个TOR交换机相连，以提升网络的可靠性，确保任一级联模块或者TOR交换机故障时，网络仍然可以正常通信。

·     刀片服务器：

¡     每个B16000刀箱中，满配了刀片服务器。

¡     刀片服务器上安装了Mezz网卡，通过刀箱内部的中置背板与BT1004E以太网级联模块互连。Mezz网卡和BT1004E的端口连接关系，可以通过组网查询工具查询。

·     管理软件：

¡     每个B16000刀箱中，配置了两个OM模块，自动形成主备，用于管理刀箱部件，如刀片服务器、互联模块、风扇模块、电源模块等都可以通过OM统一监控管理。

¡     其中一个B16000刀箱中，安装了AE模块，通过AE模块中缺省部署的UniSystem管理软件，可以实现组网中所有刀片服务器的操作系统安装。

 

图1-2 高密横向扩展组网架构示意图

 

1.2.2  组网设备

组网中可选配的硬件设备如表1-1所示。

表1-1 高密横向扩展组网可选的硬件设备

硬件设备名称	可选型号
机柜	42U标准机柜
刀箱	H3C UniServer B16000
刀片服务器	·     H3C UniServer B5700 G3 ·     H3C UniServer B5800 G3 ·     H3C UniServer B7800 G3
AE模块	·     H3C Unisever AE100 ·     H3C Unisever AE101
互联模块	以太网级联模块：H3C UniServer BT1004E
Mezz网卡	·     （推荐）NIC-ETH640i-Mb-2*25G ·     （推荐）NIC-ETH681i-Mb-2*25G ·     NIC-ETH522-Mb-2*10G
TOR交换机	·     （推荐）H3C S9820系列交换机 ·     （推荐）H3C S9850系列交换机 ·     其他包含QSFP28端口的交换机 TOR交换机的具体型号和组网中的刀片服务器数量相关，具体请参见表1-2

 

表1-2 推荐的TOR交换机型号

TOR交换机型号	TOR交换机最大端口数	TOR交换机高度	两个TOR交换机下推荐的刀片服务器数量（个）
S9850-32H	32	1U	40～80
S9850-4C	96	2U	180～240
S9820-64H	64	2U	120～160
S9820-8C	128	3U	240～340
·     S9850-4C和S9820-8C交换机可以通过安装接口模块扩展卡增加接口数。 ·     推荐的服务器数量以H3C UniServer B5700 G3服务器为标准、满足网络上下行端口比在1:1～1:2之间。

 

1.3  适用场景及特点

高密横向扩展组网适用于大规模统一部署和管理刀片服务器，前期部署需求成本低，部署后根据业务情况随时增加单框刀片服务器，后期网络运维需求成本低，维护简单的业务场景。

·     级联部署：BT1004E与高性能TOR交换机级联，为刀片服务器的网络提供了统一出口。

·     高密度：组网中高密度部署刀箱，通过TOR交换机集中管理多刀片服务器网络。

·     高可扩展：组网易于横向扩展，直接将单框的级联模块端口与TOR交换机连接和配置，即可加入到组网中。

·     高可用性：刀片服务器网络链路冗余，相比于单框独立部署方式，组网中线路较少，降低了多线路带来的风险。

·     灵活配置：用户可根据实际需求灵活选择TOR交换机型号和组网部署方式。

·     成本低：相比于单框部署一对交换模块的情况，将网络功能的处理集中上行到TOR交换机，提高了TOR交换机的使用效率。同时组网集中上行管理，降低了后期运维成本。

·     减轻复杂性：用户可以在一个TOR交换机的命令界面统一配置整个组网，减少了用户的切换流程，部署方式较为单一，便于理解。

·     大规模统一管理：组网内链路可达，用户可以统一部署和管理组网。

2 部署高密横向扩展组网

2.1  组网需求

如图1-2所示，三个42U的标准机柜中，部署了如下设备：

·     每个机柜中，部署了三个B16000刀箱（高度12U）；其中两个机柜部署了一个TOR交换机（高度1U～3U）。

·     TOR交换机：三个机柜中配置了两个H3C S9820 TOR交换机，且组建了IRF。

·     BT1004E以太网级联模块：

¡     一个B16000刀箱中，配置了两个BT1004E级联模块，安装在1号和4号槽位。

¡     BT1004E级联模块通过刀箱内部的中置背板连接刀箱中的所有刀片服务器；外部4个端口，连接两个TOR交换机。

·     刀片服务器：

¡     一个B16000刀箱中，满配了刀片服务器。

¡     刀片服务器上安装了Mezz网卡，通过刀箱内部的中置背板与BT1004E以太网级联模块互连。

·     管理软件：

¡     每个B16000刀箱中，配置了两个OM模块，自动形成主备，用于管理刀箱部件，如刀片服务器、互联模块、风扇模块、电源模块等都可以通过OM统一监控管理。

¡     其中一个B16000刀箱中，安装了AE模块，通过AE模块中缺省部署的UniSystem管理软件，可以实现组网中所有刀片服务器的操作系统安装。

图2-1 全局组网需求示意图

 

组网中硬件配置如表2-1所示。

表2-1 硬件配置表

组件名称	配置数量	说明
42U标准机柜	3	-
B16000刀片机箱	9	-
B5700 G3刀片服务器	144	每个刀箱满配B5700 G3刀片服务器
ETH681i Mezz网卡	144	为每个刀片服务器配置一张以太网Mezz网卡
OM模块	18	2个OM模块形成主备关系
BT1004E级联模块	18	每个刀箱配置一组BT1004E级联模块
AE模块	2	安装于本例的Enclosure 1中
S9820-64H TOR交换机	2	安装于本例的两个机柜中
管理交换机	1	-
管理PC	1	-
上行业务交换机	1	连接业务网络
电源模块	满配	-
风扇模块	满配	-

 

如图2-2所示，以安装了AE模块的B16000刀箱Enclosure 1为例，刀箱中安装了两个BT1004E级联模块、两个OM模块、满配的刀片服务器以及两个AE模块。两个级联模块安装在1号槽位和四号槽位，四个QSFP28端口两两连接两个TOR交换机。两个TOR交换机都上行连接到业务交换机。OM模块通过管理交换机与管理PC相连接。

本例以刀箱Enclosure 1的配置过程为重点，介绍组网部署方式。

图2-2 刀箱Enclosure 1组网需求示意图

 

表2-2 设备IP地址说明

设备	IP地址	说明
OM模块（Enclosure 1）	管理IP地址（缺省）：192.168.100.100/24	OM登录用户名及密码： ·     用户名（缺省）：admin ·     密码（缺省）：Password@_
UniSystem管理地址	管理IP地址（缺省）：192.168.0.100/24	UniSystem登录用户名及密码： ·     用户名（缺省）：admin ·     密码（缺省）：Password@_
业务交换机的VLAN 2接口IP	100.1.1.1/24	网关地址：100.1.1.254/24
管理PC	192.168.100.200/24 192.168.0.200/24	网关地址： 192.168.100.254/24 192.168.0.254/24

 

为了确保高密横向扩展组网的连通性及链路冗余，并进行统一管理部署，现希望实现如下需求：

·     完成组网硬件安装部署，确保组网连通性。

·     为刀片服务器批量配置HDM管理IP地址。

·     为刀片服务器批量安装Linux操作系统Redhat 6.8。

·     通过配置网卡提升刀片服务器内部链路的可靠性。

·     所有刀片服务器操作系统可以访问外部的业务交换机，并且任一级联模块或者TOR交换机故障时，仍然可以正常通信。

2.2  配置思路

组网部署包括硬件环境搭建和软件配置两部分组成。

·     为实现组网硬件安装部署，确保组网连通性，需进行以下硬件环境搭建：

¡     刀箱内部各模块通过机箱中置背板互连。

¡     组网内级联模块与TOR交换机通过端口连接，TOR交换机上行连接业务交换机。

¡     组网内OM模块与管理交换机连接，通过管理PC连接管理交换机登录OM Web页面。

·     为实现组网内刀片服务器操作系统安装以及业务数据通信，需进行以下软件配置：

¡     为了实现批量为刀片服务器配置HDM管理IP地址，可以通过OM Web网络管理功能统一配置。

¡     为实现组网内刀片服务器操作系统安装，可以通过UniSystem软件批量安装Linux操作系统Redhat 6.8，设置初始root密码为Password@_。

¡     进行TOR交换机和网卡端口配置前，需要先明确Mezz网卡、级联模块外部端口和OS下显示的网卡端口三者之间的对应关系，以确保对正确的端口进行配置，并便于完成配置后的配置验证。端口之间的对应关系可以通过组网查询工具查询。

¡     为保证刀片服务器访问外部网络的数据链路可靠性，需要在TOR交换机之间配置IRF，这样当一个TOR交换机故障时，刀片服务器可以通过另一个TOR交换机访问外部网络。

¡     为了提升刀片服务器内部链路的可靠性，需要在刀片服务器的OS上配置Mezz网卡端口的Bonding功能（采用主备模式），使Mezz网卡的Port1和Port2绑定成一个逻辑口，这样当一个级联模块故障时，刀片服务器可以通过另一个级联模块访问外部网络。

¡     由于在本例中，TOR交换机与业务交换机之间的业务流量通过VLAN接口进行传输，还需要在刀片服务器和TOR交换机上进行VLAN和VLAN接口的相关配置。配置VLAN 2传输业务流量，不允许VLAN 1通过。

2.3  使用版本

本举例是在以下软件版本上进行配置和验证的：

·     OM管理软件：UN_BLADE-OM-1.02.03

·     UniSystem管理软件：2.00.19

·     TOR交换机软件版本：Release 6555P01

2.4  注意事项

请确保刀片服务器的OS能正常识别ETH681i网卡，如无法识别则需要安装网卡驱动程序，详细介绍请参见《ETH681i Mezz网卡模块 用户指南》。

2.5  配置步骤

2.5.1  搭建硬件环境

1. 机柜

将所有B16000刀箱和S9820 TOR交换机，安装到42U标准机柜中。

2. B16000刀箱

(1)     每个刀箱中安装16个B5700 G3刀片服务器；在每个刀片服务器后部Mezz1槽位安装Mezz网卡（NIC-ETH681i-Mb-2*25G）。

(2)     每个刀箱的ICM1和ICM4槽位安装2个BT1004E以太网级联模块。

(3)     每个刀箱中安装2个OM模块

(4)     刀箱Enclosure-1中安装2个AE模块；其余刀箱中不需要安装AE模块。

3. 管理网络连接

将管理PC的以太网口通过管理交换机与所有刀箱中主用和备用OM模块的“MGMT”端口相连。

4. TOR交换机间端口连接及配置

(1)     TOR交换机之间分配两个以太网接口HundredGigE1/0/16和HundredGigE1/0/32相互连接。

(2)     TOR交换机分配端口HundredGigE 1/0/1～HundredGigE 1/0/2上行连接业务交换机。

5. 级联模块与TOR交换机端口连接

级联模块以刀箱Enclosure-1为例，其端口连接方式为如图2-3所示。为确保任一级联模块或者TOR交换机故障时，仍然可以正常通信，每个BT1004E以太网级联模块需与两个TOR交换机连接。其他级联模块连接方式类似。

图2-3 级联模块与TOR交换机端口连接

 

2.5.2  配置软件功能

1. 通过OM统一配置刀片服务器及AE模块HDM管理IP地址

以刀箱Enclosure-1为例，介绍通过OM Web页面统一配置刀片服务器及AE模块HDM管理IP地址的方式。

表2-3 需要配置的组网HDM管理IP地址

设备	HDM管理IP地址	说明
AE模块1～AE模块2（Enclosure 1）	192.168.10.1/24～192.168.10.2/24	·     网关地址：192.168.10.254/24 ·     HDM用户名及密码： ¡     用户名（缺省）：admin ¡     密码（缺省）：Password@_
刀片服务器1～刀片服务器16（Enclosure 1）	192.168.20.1/24～192.168.20.16/24	·     网关地址：192.168.20.254/24 ·     HDM用户名及密码： ¡     用户名（缺省）：admin ¡     密码（缺省）：Password@_

 

(1)     登录OM Web页面

如图2-4中①所示，打开PC上的浏览器，输入OM Web页面的登录地址192.168.100.100。如②所示，输入管理员用户名和密码。如③所示，单击“登录”，完成操作。

图2-4 登录OM Web页面

 

(2)     配置AE模块槽位HDM IPv4管理地址

a.     配置AE模块槽位HDM IPv4管理地址。如图2-5所示，选择“机箱管理”，单击“机箱管理 > 槽位IP地址管理 > AE模块槽位IP信息”。

图2-5 配置AE模块槽位HDM IPv4管理地址（1）

 

b.     如图2-6所示，单击“启用”参数旁的滑块，批量开启槽位IP地址配置功能，输入相关参数，单击“应用”，完成AE模块槽位HDM IPv4管理地址配置。

图2-6 配置AE模块槽位HDM IPv4管理地址（2）

 

(3)     配置刀片服务器槽位HDM IPv4管理地址

a.     批量配置刀片服务器槽位HDM IPv4管理地址。如图2-7所示，单击“刀片服务器槽位IP信息”。

图2-7 批量配置刀片服务器槽位HDM IPv4管理地址（1）

 

b.     如图2-8所示，单击“启用”参数旁的滑块，批量开启槽位IP地址配置功能，输入1号槽位刀片服务器的参数，配置1号槽位刀片服务器槽位IPv4信息。

图2-8 批量配置刀片服务器槽位HDM IPv4管理地址（2）

 

c.     如图2-9所示，单击“自动填充”向下箭头，此时系统自动为该刀片服务器槽位以下的所有刀片服务器自动分配槽位IPv4信息，其中IPv4地址会逐个加1，子网掩码及网关保持不变，所有刀片服务器相关参数配置完成后，单击“应用”，完成批量配置刀片服务器槽位HDM IPv4管理地址操作。

图2-9 批量配置刀片服务器槽位HDM IPv4管理地址（3）

 

2. 通过UniSystem软件为刀片服务器批量安装操作系统

本节介绍通过UniSystem上的PXE功能批量为组网内所有刀片服务器安装Redhat 6.8操作系统，通过本功能安装的Linux操作系统的默认root密码是123456。

表2-4 刀箱Enclosure1中刀片服务器操作系统IP地址

刀片服务器操作系统版本	刀片服务器操作系统IP地址	说明
Redhat 6.8	192.168.30.1/24～192.168.30.144/24	·     网关地址：192.168.30.254/24 ·     操作系统用户名及密码： ¡     用户名（缺省）：root ¡     密码（缺省）：123456

 

(1)     准备工作

从操作系统官网获取待安装的操作系统镜像文件rhel-server-6.8-x86_64-dvd.iso。

(2)     登录UniSystem Web页面

如图2-10所示，打开PC上的浏览器，输入UniSystem页面的登录地址192.168.0.100。如②所示，输入UniSystem用户名和密码。如③所示，单击“登录”，进入UniSystem管理首页。

图2-10 UniSystem Web登录界面

 

(3)     上传操作系统镜像

a.     单击[系统管理/操作系统/镜像管理]菜单项。

图2-11 镜像管理

 

b.     单击<上传>按钮，弹出上传操作系统镜像对话框，如图2-12所示。选择镜像类型，单击<浏览>按钮选择镜像文件，将操作系统镜像文件rhel-server-6.8-x86_64-dvd.iso上传至AE模块。

图2-12 上传操作系统镜像

 

c.     上传完毕后，可以在镜像管理界面查看到已上传的OS镜像，如图2-13所示。

图2-13 上传完毕

 

(4)     部署PXE服务器

a.     单击[系统管理/操作系统/PXE部署]菜单项。

b.     在BootLoader配置模式中选择iPXE，单击“修改”完成设置。

c.     在“DHCP起始IP地址”输入192.168.30.1，在“DHCP分配IP个数”输入144。通过PXE安装操作系统时，每个刀片服务器均需要向DHCP服务器申请一个IP地址。操作系统安装完成后，该IP地址成为刀片服务器的系统IP地址。

d.     检查“待安装镜像”，选择默认安装镜像为rhel-server-6.8-x86_64-dvd.iso。

e.     点击右侧的启动按钮，完成部署。

 

图2-14 PXE部署

 

(5)     安装操作系统

以刀箱Enclosure1为例，为其配置的16个刀片服务器安装操作系统，其他刀箱的服务器安装方式类似。

a.     单击[机箱/机箱服务器列表]菜单项。

b.     选择目标机箱，单击[刀片服务器管理]菜单项。

c.     选中目标刀片服务器，单击“PXE安装”，根据界面提示完成操作。

图2-15 选择目标机箱和刀片服务器

 

d.     在弹窗中单击“确认”，开始PXE安装。

图2-16 开始PXE安装

 

e.     安装完成后，可以通过远程控制台登录刀片服务器，确认安装成功。

图2-17 远程控制台登录

 

图2-18 确认操作系统安装成功

 

3. 配置刀片服务器Mezz网卡端口

本节以Enclosure 1刀箱3号槽位刀片服务器为例，介绍在Linux操作系统Redhat 6.8上配置Mezz网卡端口的Bonding功能的步骤，组网内其他刀片服务器网卡配置过程类似。

(1)     如，在Linux下执行“ifconfig”命令，查看网卡信息。可以得知：本例中刀片服务器上Mezz1的Port1和Port2，且它们在OS下分别命名为ens5f0和ens5f1。

图2-19 查看网卡配置

 

(2)     配置ens5f0和ens5f1端口Bonding

a.     在操作系统下执行“nmtui”命令启动系统自带的网卡配置工具。

[root@localhost]# nmtui

b.     选择“Edit a connection”编辑网络连接，如图2-20所示。

图2-20 选择编辑网络连接

 

c.     选择<Add>添加一个新的网络连接，并选择网卡类型为“Bond”，然后选择<Create>，如图2-21所示。

图2-21 添加“Bond”连接

 

d.     如图2-22所示，设置“Profile name”和“Device”，其中“Profile name”为配置文件名称，可根据需要随意设置；“Device”必须配置为设备名称，本例以两者均配置为Bond1为例。

图2-22 设置Bond连接

 

e.     在BOND Slaves选项下选择<Add>，添加“ens5f0”从接口，如图2-23所示，完成后选择<OK>保存配置。然后以同样的方法添加“ens5f1”从接口。

图2-23 添加从接口

 

f.     将“Mode”设置为“Active Backup”，并根据业务环境设置IP地址。由于本例中的业务流量通过Bond口下的VLAN接口进行传输，不需要在Bond下配置的IP地址，所以此处将“IPv4 CONFIGURATION”设置为“Manual”，然后将Bond口的IP设置为静态地址0.0.0.0/0，如图2-24所示。配置完成后选择<OK>保存配置。

图2-24 设置网络参数

 

g.     通过键盘的<ESC>按键，退回到nmtui工具的首页，选择<Add>添加一个新的网络连接，并选择网卡类型为“VLAN”，然后选择<Create>，如图2-25所示。

图2-25 添加VLAN接口

 

h.     如图2-26所示，设置“Profile name”、“Device”和“VLAN id”，将“IPv4 CONFIGURATION”设置为“Manual”，然后配置“Addresses”为业务网的静态IP地址，配置完成后选择<OK>保存配置。本文以“VLAN id”设置为2，“Addresses”设置为100.1.1.2/24举例。

图2-26 设置Bond接口的VLAN子接口地址

 

i.     完成nmtui配置，按ESC至退出配置界面。

j.     重启网络服务。

执行“systemctl restart network”命令，重启网络服务器。

[root@localhost]# systemctl restart network

k.     查看网卡配置

执行“ifconfig”命令，查看Bond1和Bond1.2配置，如图2-27所示。需要注意的是，主备模式下聚合口和两个物理网卡的物理地址都相同，如图2-28所示。

图2-27 查看网卡配置（一）

 

图2-28 查看网卡配置（二）

 

4. 配置TOR交换机

(1)     配置两个TOR交换机组建IRF

·     配置TOR交换机A

# 关闭选定的IRF物理端口HundredGigE1/0/16和HundredGigE1/0/32。

<H3C> system-view

[H3C] interface range hundredgige 1/0/16 hundredgige 1/0/32

[H3C-if-range] shutdown

# 配置IRF端口1/2，将IRF端口和它理端口HundredGigE1/0/16和HundredGigE1/0/32绑定。

[H3C] irf-port 1/2

[H3C-irf-port1/2] port group interface hundredgige 1/0/16

[H3C-irf-port1/2] port group interface hundredgige 1/0/32

[H3C-irf-port1/2] quit

# 开启IRF物理端口HundredGigE1/0/16和HundredGigE1/0/32。

[H3C] interface range hundredgige 1/0/16 hundredgige 1/0/32

[H3C-if-range] undo shutdown

[H3C-if-range] quit

# 配置IRF角色优先级高使其优先成为主角色，并保存配置。

[H3C] irf member 1 priority 10

[H3C] save

The current configuration will be written to the device. Are you sure? [Y/N]:y

Please input the file name(*.cfg)[flash:/startup.cfg]

(To leave the existing filename unchanged, press the enter key):

# 激活IRF端口下的配置。

[H3C] irf-port-configuration active

·     配置TOR交换机B

# 将TOR交换机B设备成员编号配置为2，并重启设备使新编号生效。

<H3C> system-view

[H3C] irf member 1 renumber 2

Renumbering the member ID may result in configuration change or loss. Continue? [Y/N]:y

[H3C] quit

<H3C> save

The current configuration will be written to the device. Are you sure? [Y/N]:

Before pressing ENTER you must choose 'YES' or 'NO'[Y/N]:y

Please input the file name(*.cfg)[flash:/startup.cfg]

(To leave the existing filename unchanged, press the enter key):

flash:/startup.cfg exists, overwrite? [Y/N]:y

Validating file. Please wait...

Saved the current configuration to mainboard device successfully.

<H3C> reboot

# 重新登录到设备，关闭选定IRF物理端口HundredGigE2/0/16和HundredGigE2/0/32。

<H3C> system-view

[H3C] interface range hundredgige 2/0/16 hundredgige 2/0/32

[H3C-if-range] shutdown

# 配置IRF端口2/1，并将它与物理端口HundredGigE2/0/16和HundredGigE2/0/32绑定。

[H3C] irf-port 2/1

[H3C-irf-port2/1] port group interface hundredgige 2/0/16

[H3C-irf-port2/1] port group interface hundredgige 2/0/32

[H3C-irf-port2/1] quit

# 开启物理端口HundredGigE2/0/16和HundredGigE2/0/32，并保存配置。

[H3C] interface range hundredgige 2/0/16 hundredgige 2/0/32

[H3C-if-range] undo shutdown

[H3C-if-range] quit

[H3C] save

The current configuration will be written to the device. Are you sure? [Y/N]:y

Please input the file name(*.cfg)[flash:/startup.cfg]

(To leave the existing filename unchanged, press the enter key):

# 激活IRF端口下的配置。

[H3C] irf-port-configuration active

# 将两个TOR交换机重启，重启后，查看IRF相关信息，确认IRF已成功建立。

[H3C] display irf

MemberID     Role    Priority    CPU-Mac         Description

 *+1         Master  10          00e0-fc0f-8c02  ---

   2         Standby 1           00e0-fc0f-8c03  ---

 --------------------------------------------------

* indicates the device is the master.

+ indicates the device through which the user logs in.

(2)     配置TOR交换机与级联模块业务互通，本例以与Enclosure 1刀箱ICM 3端口QSFP28-4相连的TOR端口HundredGigE1/0/33为例，其他端口配置过程类似。

# 创建VLAN 2。

[H3C] vlan 2

[H3C-vlan2]quit

# 缺省情况下，TOR交换机端口为100GE端口，此时TOR交换机与级联模块端口速率不一致，链路无法正常连通。故将端口HundredGigE1/0/33拆分为四个25GE端口Twenty-FiveGigE1/0/33:1～Twenty-FiveGigE1/0/33:4。

[H3C] system-view

[H3C] interface hundredgige 1/0/33

[H3C-HundredGigE1/0/33] using twenty-fivegige

# 配置与级联模块连接的TOR交换机端口为Trunk端口。

# 配置端口Twenty-FiveGigE1/0/33:1为Trunk端口，允许VLAN 2通过，不允许VLAN 1通过。

[H3C] interface twenty-fivegige 1/0/33:1

[H3C-Twenty-FiveGigE1/0/33:1] port link-type trunk

[H3C-Twenty-FiveGigE1/0/33:1] port trunk permit vlan 2

[H3C-Twenty-FiveGigE1/0/33:1] undo port trunk permit vlan 1

[H3C-Twenty-FiveGigE1/0/33:1] quit

# 配置端口Twenty-FiveGigE1/0/33:2为Trunk端口，允许VLAN 2通过，不允许VLAN 1通过。

[H3C] interface twenty-fivegige 1/0/33:2

[H3C-Twenty-FiveGigE1/0/33:2] port link-type trunk

[H3C-Twenty-FiveGigE1/0/33:2] port trunk permit vlan 2

[H3C-Twenty-FiveGigE1/0/33:2] undo port trunk permit vlan 1

[H3C-Twenty-FiveGigE1/0/33:2] quit

# 配置端口Twenty-FiveGigE1/0/33:3为Trunk端口，允许VLAN 2通过，不允许VLAN 1通过。

[H3C] interface twenty-fivegige 1/0/33:3

[H3C-Twenty-FiveGigE1/0/33:3] port link-type trunk

[H3C-Twenty-FiveGigE1/0/33:3] port trunk permit vlan 2

[H3C-Twenty-FiveGigE1/0/33:3] undo port trunk permit vlan 1

[H3C-Twenty-FiveGigE1/0/33:3] quit

# 配置端口Twenty-FiveGigE1/0/33:4为Trunk端口，允许VLAN 2通过，不允许VLAN 1通过。

[H3C] interface twenty-fivegige 1/0/33:4

[H3C-Twenty-FiveGigE1/0/33:4] port link-type trunk

[H3C-Twenty-FiveGigE1/0/33:4] port trunk permit vlan 2

[H3C-Twenty-FiveGigE1/0/33:4] undo port trunk permit vlan 1

[H3C-Twenty-FiveGigE1/0/33:4] quit

# 按照以上步骤配置其他与级联模块连接的TOR交换机端口。

(3)     配置TOR交换机与上行交换机业务互通

# 为了提升外部链路的可靠性，需要在TOR交换机的上行端口配置链路聚合。创建二层聚合口，并将物理口加入到聚合组

[H3C] interface Bridge-Aggregation 10

[H3C-Bridge-Aggregation10]

[H3C] interface hundredgige 1/0/1

[H3C-HundredGigE1/1/1] port link-aggregation group 10

[H3C-HundredGigE1/1/1] quit

[H3C] interface hundredgige 1/0/2

[H3C-HundredGigE1/0/2] port link-aggregation group 10

[H3C HundredGigE1/0/2] quit

[H3C] interface hundredgige 2/0/1

[H3C-HundredGigE2/0/1] port link-aggregation group 10

[H3C HundredGigE2/0/1] quit

[H3C] interface hundredgige 2/0/2

[H3C-HundredGigE2/0/2] port link-aggregation group 10

[H3C HundredGigE2/0/2] quit

# 允许业务流量通过VLAN 2传输；为避免VLAN 1影响业务流量，不允许VLAN 1通过。

[H3C] interface Bridge-Aggregation 10

[H3C-Bridge-Aggregation10] port link-type trunk

[H3C-Bridge-Aggregation10] port trunk permit vlan 2

[H3C-Bridge-Aggregation10] undo port trunk permit vlan 1

[H3C-Bridge-Aggregation10] quit

# 保存配置。

[H3C] save

The current configuration will be written to the device. Are you sure? [Y/N]:y

Please input the file name(*.cfg)[flash:/startup.cfg]

(To leave the existing filename unchanged, press the enter key):

2.6  验证连通性及链路冗余

(1)     在Enclosure 1刀箱3号槽位刀片服务器Linux操作系统上Ping业务交换机的VLAN 2接口的IP地址，可以Ping通。

[root@localhost]# ping 100.1.1.1

PING 100.1.1.1(100.1.1.1) 56(84) bytes of data.

64bytes from 100.1.1.1: icmp_seq=1 ttl=255 time=0.606 ms

64bytes from 100.1.1.1: icmp_seq=2 ttl=255 time=0.658 ms

64bytes from 100.1.1.1: icmp_seq=3 ttl=255 time=0.567 ms

64bytes from 100.1.1.1: icmp_seq=4 ttl=255 time=0.942 ms

64bytes from 100.1.1.1: icmp_seq=5 ttl=255 time=0.743 ms

(2)     移除ICM1级联模块，模拟该模块故障的情形；再次在Linux操作系统上Ping业务交换机的VLAN 2接口，可以Ping通

[root@localhost]# ping 100.1.1.1

PING 100.1.1.1(100.1.1.1) 56(84) bytes of data.

64bytes from 100.1.1.1: icmp_seq=1 ttl=255 time=1.606 ms

64bytes from 100.1.1.1: icmp_seq=2 ttl=255 time=0.896 ms

64bytes from 100.1.1.1: icmp_seq=3 ttl=255 time=0.542 ms

64bytes from 100.1.1.1: icmp_seq=4 ttl=255 time=0.672 ms

64bytes from 100.1.1.1: icmp_seq=5 ttl=255 time=0.920 ms

(3)     移除TOR交换机A，模拟该交换机故障的情形；再次在Linux操作系统上Ping业务交换机的VLAN 2接口，可以Ping通

[root@localhost]# ping 100.1.1.1

PING 100.1.1.1(100.1.1.1) 56(84) bytes of data.

64bytes from 100.1.1.1: icmp_seq=1 ttl=255 time=0.944 ms

64bytes from 100.1.1.1: icmp_seq=2 ttl=255 time=0.732 ms

64bytes from 100.1.1.1: icmp_seq=3 ttl=255 time=0.441 ms

64bytes from 100.1.1.1: icmp_seq=4 ttl=255 time=0.550 ms

64bytes from 100.1.1.1: icmp_seq=5 ttl=255 time=0.835 ms