06-M-LAG+RDMA配置举例

本章节下载 (600.71 KB)

06-M-LAG+RDMA配置举例

1.5.4 配置与Spine互联链路的RoCE配置

1.5.5 配置M-LAG

1.5.6 配置peer-link链路的RoCE配置

1.5.7 配置与服务器互联链路

1.5.8 配置与服务器互联链路的RoCE配置

1.5.9 配置underlay BGP实例

1.5.10 配置VLAN接口及网关（VLAN双活网关方式）

1.5.11 配置VLAN接口及网关（VRRP网关方式）

1.6.4 配置与Leaf互联链路的RoCE配置

1.6.5 配置路由策略将从Leaf收到的路由的AS替换为本地AS

1.6.6 配置underlay BGP实例

1 M-LAG+RDMA配置举例

1.1 组网需求

如图1-1所示，在数据中心（DC）内部构建一个稳定的二层网络，实现跨Leaf和跨Spine流量互通：

· Leaf作为接入交换机，部署M-LAG提高可靠性。对于M-LAG链路，进行负载分担提高链路利用率。Leaf配置VLAN双活网关或者VRRP，以满足服务器Server的入网需求。

· Spine作为汇聚层设备，部署RR，负责在各个Leaf间反射BGP路由。

· 在Leaf和Spine上部署PFC、数据缓冲区等智能无损网络特性，使以太网具备智能化拥塞控制功能，为RDMA提供零丢包的网络环境。本文以实现802.1p优先级为3的报文的无损转发为例。

· Leaf 配置DHCP Relay来转发DHCP报文，协助服务器获取IP地址。

图1-1 M-LAG+RDMA组网图

设备	接口	IP地址	对接设备及接口
Leaf 1	WGE1/0/1	M-LAG成员端口	服务器Server1
	WGE1/0/2	M-LAG成员端口	服务器Server2
	HGE1/0/29	peer-link链路成员端口	Leaf 2：HGE1/0/29
	HGE1/0/30	peer-link链路成员端口	Leaf 2：HGE1/0/30
	HGE1/0/31	peer-link链路成员端口	Leaf 2：HGE1/0/31
	HGE1/0/32	peer-link链路成员端口	Leaf 2：HGE1/0/32
	WGE1/0/55	RAGG 1000 1.1.1.1/30	Keepalive口-Leaf 2：WGE1/0/55
	WGE1/0/56	RAGG 1000 1.1.1.1/30	Keepalive口-Leaf 2：WGE1/0/56
	HGE1/0/25	172.16.2.154/30	Spine 1：HGE1/1/1
	HGE1/0/26	172.16.3.154/30	Spine 2：HGE1/1/1
	Loopback1	50.50.255.41/32	BGP route-id
Leaf 2	WGE1/0/1	M-LAG成员端口	服务器Server1
	WGE1/0/2	M-LAG成员端口	服务器Server2
	HGE1/0/29	peer-link链路成员端口	Leaf 1：HGE1/0/29
	HGE1/0/30	peer-link链路成员端口	Leaf 1：HGE1/0/30
	HGE1/0/31	peer-link链路成员端口	Leaf 1：HGE1/0/31
	HGE1/0/32	peer-link链路成员端口	Leaf 1：HGE1/0/32
	WGE1/0/55	RAGG 1000 1.1.1.2/30	Keepalive口-Leaf 1：WGE1/0/55
	WGE1/0/56	RAGG 1000 1.1.1.2/30	Keepalive口-Leaf 1：WGE1/0/56
	HGE1/0/25	172.16.2.158/30	Spine 1：HGE1/1/2
	HGE1/0/26	172.16.3.158/30	Spine 2：HGE1/1/2
	Loopback1	50.50.255.42/32	BGP route-id
Leaf 3	WGE1/0/1	单挂接口	服务器Server3
	WGE1/0/2	单挂接口	服务器Server4
	HGE1/0/29	peer-link链路成员端口	Leaf 4：HGE1/0/29
	HGE1/0/30	peer-link链路成员端口	Leaf 4：HGE1/0/30
	HGE1/0/31	peer-link链路成员端口	Leaf 4：HGE1/0/31
	HGE1/0/32	peer-link链路成员端口	Leaf 4：HGE1/0/32
	WGE1/0/55	RAGG 1000 1.1.1.1/30	Keepalive口-Leaf 1：WGE1/0/55
	WGE1/0/56	RAGG 1000 1.1.1.1/30	Keepalive口-Leaf 1：WGE1/0/56
	HGE1/0/25	172.16.2.82/30	Spine 1：HGE1/1/3
	HGE1/0/26	172.16.3.82/30	Spine 2：HGE1/1/3
	Loopback1	50.50.255.23/32	BGP route-id
Leaf 4	WGE1/0/1	单挂接口	服务器Server3
	WGE1/0/2	单挂接口	服务器Server4
	HGE1/0/29	peer-link链路成员端口	Leaf 3：HGE1/0/29
	HGE1/0/30	peer-link链路成员端口	Leaf 3：HGE1/0/30
	HGE1/0/29	peer-link链路成员端口	Leaf 3：HGE1/0/31
	HGE1/0/30	peer-link链路成员端口	Leaf 3：HGE1/0/32
	WGE1/0/55	RAGG 1000 1.1.1.2/30	Keepalive口-Leaf 1：WGE1/0/55
	WGE1/0/56	RAGG 1000 1.1.1.2/30	Keepalive口-Leaf 1：WGE1/0/56
	HGE1/0/25	172.16.2.86/30	Spine 1：HGE1/1/4
	HGE1/0/26	172.16.3.86/30	Spine 2：HGE1/1/4
	Loopback1	50.50.255.24/32	BGP route-id
Spine 1	HGE1/1/1	172.16.2.153/30	Leaf 1：HGE1/0/25
	HGE1/1/2	172.16.2.157/30	Leaf 2：HGE1/0/25
	HGE1/1/3	172.16.2.81/30	Leaf 3：HGE1/0/25
	HGE1/1/4	172.16.2.85/30	Leaf 4：HGE1/0/25
	Loopback1	50.50.255.1/32	BGP route-id
Spine 2	HGE1/1/1	172.16.3.153/30	Leaf 1：HGE1/0/26
	HGE1/1/2	172.16.3.157/30	Leaf 2：HGE1/0/26
	HGE1/1/3	172.16.3.81/30	Leaf 3：HGE1/0/26
	HGE1/1/4	172.16.3.85/30	Leaf 4：HGE1/0/26
	Loopback1	50.50.255.2/32	BGP route-id

1.2 流量互通模型介绍

流量互通模型有以下几种：

· 同组M-LAG Leaf 服务器与服务器之间二层互通；

· 同组M-LAG Leaf 服务器与服务器之间三层互通；

· 不同M-LAG Leaf 服务器与服务器之间三层互通；

1.3 适用设备及使用版本

角色	设备	软件版本
Spine	S12500X-AF/S12500F-AF	不推荐使用
	S12500R	不推荐使用
	S12500G-AF	不推荐使用
	S9820-8C（本文以S9820-8C作Spine为例）	R6710版本
Leaf	S6800/S6860/S6900	不推荐使用
	S6812/S6813	不推荐使用
	S6805/S6825/S6850/S9850（本文以S6850 作Leaf为例）	R6710版本
	S6890	不推荐使用
	S9820-64H	R6710版本
服务器网卡	Mellanox ConnectX-6 Lx	驱动版本：MLNX_OFED_LINUX-5.4-3.2.7.2.3-rhel8.4-x86_64 固件版本： driver: mlx5_core version: 5.4-3.2.7.2.3 firmware-version: 26.31.2006 (MT_0000000531)
	Mellanox ConnectX-5	驱动版本：MLNX_OFED_LINUX-5.4-3.2.7.2.3-rhel8.4-x86_64 固件版本： driver: mlx5_core version: 5.4-3.2.7.2.3 firmware-version: 16.31.2006 (MT_0000000080)
	Mellanox ConnectX-4 Lx	驱动版本：MLNX_OFED_LINUX-5.4-3.2.7.2.3-rhel8.4-x86_64 固件版本： driver: mlx5_core version: 5.4-3.2.7.2.3 firmware-version: 14.31.2006 (MT_2420110034)

1.4 配置注意事项

请客户根据实际的业务需求，制定各级设备的收敛比。建议高速端口中，2个或4个端口用于peer-link链路以满足同组Leaf下挂服务器东西向流量的转发需求，其余高速端口用作上行端口。普通速率端口连接服务器。如果收敛比不满足转发性能需求，可以采用不满挂服务器的方式。

对于S6805 & S6825 & S6850 & S9850、S9820-64H、S9820-8C设备，开启指定802.1p优先级的PFC功能后，设备会为PFC的各种门限设置一个缺省值，具体请参考1.11 参数调整简介和1.12 参数调整指导。

此缺省值在一般的组网环境下是效果较好的参数组合，不建议用户自行调整。

拥塞避免有两种配置方式，全局配置的WRED table方式和端口WRED方式，选择其中一种配置即可。两种配置方式区别如下：

· 端口WRED方式是在端口上直接配置WRED的各种参数，并开启WRED功能。端口WRED方式可以只配置RoCE队列，不同接口可以配置不同的参数，使用更为灵活。推荐此方式。

· 全局配置的WRED table方式需要在系统视图下创建WRED表，并在表中配置WRED的各种参数，然后在接口上应用WRED表。WRED表中需要为所有队列配置参数，否则未配置的队列会应用到缺省值（缺省值较小，一般情况下不是合理配置）。应用同一WRED表的接口配置一致。

1.5 配置Leaf

1.5.1 配置概览

· 配置RoCE的全局配置

· 配置与Spine互联链路

· 配置与Spine互联链路的RoCE配置

请选择以下一项任务进行配置：

¡ WRED table方式

¡ 端口WRED方式

· 配置M-LAG

· 配置peer-link链路的RoCE配置

请选择以下一项任务进行配置：

· 配置VLAN接口及网关，请选择以下一项任务进行配置：

¡ 配置VLAN接口及网关（VLAN双活网关方式）

¡ 配置VLAN接口及网关（VRRP网关方式）

本文以Leaf 1、Leaf 2的配置为例。Leaf 3、Leaf 4的配置仅体现单挂链路的配置，其他配置与Leaf 1、Leaf 2配置类似。

1.5.2 配置RoCE的全局配置

1. PFC全局配置和数据缓冲区配置

Leaf 1（S6850）	Leaf 2（S6850）	命令说明	注意事项
priority-flow-control poolID 0 headroom 131072	priority-flow-control poolID 0 headroom 131072	设置PFC全局headroom最大可用的cell资源	配置为允许的最大值
priority-flow-control deadlock cos 3 interval 10	priority-flow-control deadlock cos 3 interval 10	设置PFC死锁检查周期，RoCE报文所在队列	-
priority-flow-control deadlock precision high	priority-flow-control deadlock precision high	设置PFC死锁检测定时器的精度	配置为最高精度
buffer egress cell queue 3 shared ratio 100	buffer egress cell queue 3 shared ratio 100	RoCE队列出方向缓存调到最大	-
buffer egress cell queue 6 shared ratio 100	buffer egress cell queue 6 shared ratio 100	CNP队列出方向缓存调到最大	-
buffer apply	buffer apply	使Buffer配置生效	-

2. 配置全局WRED表（仅WRED table方式涉及）

3. 配置QoS优先级映射

接口配置PFC功能时，Leaf设备连接服务器的接口需要信任报文自带的802.1p优先级或DSCP优先级，Leaf和Spine互连的三层接口需要信任报文自带的DSCP优先级。

建议配置服务器发出的报文携带DSCP优先级并能根据DSCP值入队列，此时Leaf设备连接服务器的接口配置信任报文的DSCP优先级。如果服务器不支持携带DSCP优先级，Leaf设备连接服务器的接口配置信任报文自带的802.1p优先级并需配置DSCP和Dot1p映射关系（必须为所有报文涉及的DSCP配置映射关系）。

本节描述接口信任报文自带的802.1p优先级时，DSCP和Dot1p映射关系的配置方法。如果采用接口信任DSCP优先级的方式，则不需要配置本节内容。

Leaf 1（S6850）	Leaf 2（S6850）	命令说明	注意事项
qos map-table dot1p-lp import 0 export 0 import 1 export 1 import 2 export 2	qos map-table dot1p-lp import 0 export 0 import 1 export 1 import 2 export 2	调整dot1p-lp的队列映射	-
traffic classifier dot1p0 operator and	traffic classifier dot1p0 operator and	创建类，各规则之间为逻辑与的关系	如果下行口配置qos trust dscp，则不用配置此MQC
if-match service-dot1p 0	if-match service-dot1p 0	定义匹配外层VLAN Tag 802.1p优先级的规则	-
traffic classifier dot1p1 operator and	traffic classifier dot1p1 operator and	创建类，各规则之间为逻辑与的关系	-
if-match service-dot1p 1	if-match service-dot1p 1	定义匹配外层VLAN Tag 802.1p优先级的规则	-
traffic classifier dot1p2 operator and	traffic classifier dot1p2 operator and	创建类，各规则之间为逻辑与的关系	-
if-match service-dot1p 2	if-match service-dot1p 2	定义匹配外层VLAN Tag 802.1p优先级的规则	-
traffic classifier dot1p3 operator and	traffic classifier dot1p3 operator and	创建类，各规则之间为逻辑与的关系	-
if-match service-dot1p 3	if-match service-dot1p 3	定义匹配外层VLAN Tag 802.1p优先级的规则	-
traffic classifier dot1p4 operator and	traffic classifier dot1p4 operator and	创建类，各规则之间为逻辑与的关系	-
if-match service-dot1p 4	if-match service-dot1p 4	定义匹配外层VLAN Tag 802.1p优先级的规则	-
traffic classifier dot1p5 operator and	traffic classifier dot1p5 operator and	创建类，各规则之间为逻辑与的关系	-
if-match service-dot1p 5	if-match service-dot1p 5	定义匹配外层VLAN Tag 802.1p优先级的规则	-
traffic classifier dot1p5 operator and	traffic classifier dot1p5 operator and	创建类，各规则之间为逻辑与的关系	-
if-match service-dot1p 6	if-match service-dot1p 6	定义匹配外层VLAN Tag 802.1p优先级的规则	-
traffic classifier dot1p7 operator and	traffic classifier dot1p7 operator and	创建类，各规则之间为逻辑与的关系	-
if-match service-dot1p 7	if-match service-dot1p 7	定义匹配外层VLAN Tag 802.1p优先级的规则	-
traffic classifier dscp0 operator and	traffic classifier dscp0 operator and	创建类，各规则之间为逻辑与的关系	-
if-match dscp default	if-match dscp default	定义匹配外层VLAN Tag 802.1p优先级的规则	-
traffic classifier dscp10 operator and	traffic classifier dscp10 operator and	创建类，各规则之间为逻辑与的关系	-
if-match dscp af11	if-match dscp af11	定义匹配DSCP的规则	-
traffic classifier dscp18 operator and	traffic classifier dscp18 operator and	创建类，各规则之间为逻辑与的关系	-
if-match dscp af21	if-match dscp af21	定义匹配DSCP的规则	-
traffic classifier dscp26 operator and	traffic classifier dscp26 operator and	创建类，各规则之间为逻辑与的关系	-
if-match dscp af31	if-match dscp af31	定义匹配DSCP的规则	-
traffic classifier dscp34 operator and	traffic classifier dscp34 operator and	创建类，各规则之间为逻辑与的关系	-
if-match dscp af41	if-match dscp af41	定义匹配DSCP的规则	-
traffic classifier dscp40 operator and	traffic classifier dscp40 operator and	创建类，各规则之间为逻辑与的关系	-
if-match dscp cs5	if-match dscp cs5	定义匹配DSCP的规则	-
traffic classifier dscp48 operator and	traffic classifier dscp48 operator and	创建类，各规则之间为逻辑与的关系	-
if-match dscp cs6	if-match dscp cs6	定义匹配DSCP的规则	-
traffic classifier dscp56 operator and	traffic classifier dscp56 operator and	创建类，各规则之间为逻辑与的关系	-
if-match dscp cs7	if-match dscp cs7	定义匹配DSCP的规则	-
traffic behavior dot1p0	traffic behavior dot1p0	创建流行为	-
remark dot1p 0	remark dot1p 0	重新标记报文的802.1p优先级值	-
traffic behavior dot1p1	traffic behavior dot1p1	创建流行为	-
remark dot1p 1	remark dot1p 1	重新标记报文的802.1p优先级值	-
traffic behavior dot1p2	traffic behavior dot1p2	创建流行为	-
remark dot1p 2	remark dot1p 2	重新标记报文的802.1p优先级值	-
traffic behavior dot1p3	traffic behavior dot1p3	创建流行为	-
remark dot1p 3	remark dot1p 3	重新标记报文的802.1p优先级值	-
traffic behavior dot1p4	traffic behavior dot1p4	创建流行为	-
remark dot1p 4	remark dot1p 4	重新标记报文的802.1p优先级值	-
traffic behavior dot1p5	traffic behavior dot1p5	创建流行为	-
remark dot1p 5	remark dot1p 5	重新标记报文的802.1p优先级值	-
traffic behavior dot1p5	traffic behavior dot1p5	创建流行为	-
remark dot1p 6	remark dot1p 6	重新标记报文的802.1p优先级值	-
traffic behavior dot1p7	traffic behavior dot1p7	创建流行为	-
remark dot1p 7	remark dot1p 7	重新标记报文的802.1p优先级值	-
traffic behavior dscp-0	traffic behavior dscp-0	创建流行为	-
remark dscp default	remark dscp default	重新标记报文的DSCP值	-
traffic behavior dscp-af11	traffic behavior dscp-af11	创建流行为	-
remark dscp af11	remark dscp af11	重新标记报文的DSCP值	-
traffic behavior dscp-af21	traffic behavior dscp-af21	创建流行为	-
remark dscp af21	remark dscp af21	重新标记报文的DSCP值	-
traffic behavior dscp-af31	traffic behavior dscp-af31	创建流行为	-
remark dscp af31	remark dscp af31	重新标记报文的DSCP值	-
traffic behavior dscp-af41	traffic behavior dscp-af41	创建流行为	-
remark dscp af41	remark dscp af41	重新标记报文的DSCP值	-
traffic behavior dscp-cs5	traffic behavior dscp-cs5	创建流行为	-
remark dscp cs5	remark dscp cs5	重新标记报文的DSCP值	-
traffic behavior dscp-cs6	traffic behavior dscp-cs6	创建流行为	-
remark dscp cs6	remark dscp cs6	重新标记报文的DSCP值	-
traffic behavior dscp-cs7	traffic behavior dscp-cs7	创建流行为	-
remark dscp cs7	remark dscp cs7	重新标记报文的DSCP值	-
qos policy dot1p-dscp	qos policy dot1p-dscp	创建通用类型的QoS策略	-
classifier dot1p0 behavior dscp-0	classifier dot1p0 behavior dscp-0	为类指定流行为	-
classifier dot1p3 behavior dscp-af31	classifier dot1p3 behavior dscp-af31	为类指定流行为	-
classifier dot1p1 behavior dscp-af11	classifier dot1p1 behavior dscp-af11	为类指定流行为	-
classifier dot1p2 behavior dscp-af21	classifier dot1p2 behavior dscp-af21	为类指定流行为	-
classifier dot1p4 behavior dscp-af41	classifier dot1p4 behavior dscp-af41	为类指定流行为	-
classifier dot1p5 behavior dscp-cs5	classifier dot1p5 behavior dscp-cs5	为类指定流行为	-
classifier dot1p5 behavior dscp-cs6	classifier dot1p5 behavior dscp-cs6	为类指定流行为	-
classifier dot1p7 behavior dscp-cs7	classifier dot1p7 behavior dscp-cs7	为类指定流行为	-
qos policy dscptodot1p	qos policy dscptodot1p	创建通用类型的QoS策略	-
classifier dscp0 behavior dot1p0	classifier dscp0 behavior dot1p0	为类指定流行为	-
classifier dscp26 behavior dot1p3	classifier dscp26 behavior dot1p3	为类指定流行为	-
classifier dscp10 behavior dot1p1	classifier dscp10 behavior dot1p1	为类指定流行为	-
classifier dscp18 behavior dot1p2	classifier dscp18 behavior dot1p2	为类指定流行为	-
classifier dscp34 behavior dot1p4	classifier dscp34 behavior dot1p4	为类指定流行为	-
classifier dscp40 behavior dot1p5	classifier dscp40 behavior dot1p5	为类指定流行为	-
classifier dscp48 behavior dot1p5	classifier dscp48 behavior dot1p5	为类指定流行为	-
classifier dscp56 behavior dot1p7	classifier dscp56 behavior dot1p7	为类指定流行为	-

1.5.3 配置与Spine互联链路

Leaf 1（S6850）	Leaf 2（S6850）	命令说明	注意事项
monitor-link group 1	monitor-link group 1	配置monitor-group	全局配置
interface HundredGigE1/0/25	interface HundredGigE1/0/25	配置与Spine 1互联接口	-
port link-mode route	port link-mode route	将以太网接口切换到三层工作模式	-
ip address 172.16.2.154 255.255.255.252	ip address 172.16.2.158 255.255.255.252	配置IP	-
port monitor-link group 1 uplink	port monitor-link group 1 uplink	配置端口为monitor-link上行口	-
interface HundredGigE1/0/26	interface HundredGigE1/0/26	配置与Spine 1互联接口	-
port link-mode route	port link-mode route	将以太网接口切换到三层工作模式	-
ip address 172.16.3.154 255.255.255.252	ip address 172.16.3.158 255.255.255.252	配置IP	-
port monitor-link group 1 uplink	port monitor-link group 1 uplink	配置端口为monitor-link上行口	-

1.5.4 配置与Spine互联链路的RoCE配置

1. WRED table方式

2. 端口WRED方式

1.5.5 配置M-LAG

1.5.6 配置peer-link链路的RoCE配置

1. WRED table方式

Leaf 1（S6850）	Leaf 2（S6850）	命令说明	注意事项
interface range HundredGigE1/0/29 to HundredGigE1/0/32	interface range HundredGigE1/0/29 to HundredGigE1/0/32	进入peer-link链路物理接口批量配置视图	-
qos trust dscp	qos trust dscp	端口QoS信任DSCP	-
qos wfq byte-count	qos wfq byte-count	设置WFQ队列调度	-
qos wfq be group 1 byte-count 15	qos wfq be group 1 byte-count 15	设置0队列调度权重	根据实际业务情况配置调度权重
qos wfq af1 group 1 byte-count 2	qos wfq af1 group 1 byte-count 2	设置1队列调度权重	根据实际业务情况配置调度权重
qos wfq af2 group 1 byte-count 2	qos wfq af2 group 1 byte-count 2	设置2队列调度权重	根据实际业务情况配置调度权重
qos wfq af3 group 1 byte-count 60	qos wfq af3 group 1 byte-count 60	设置3队列调度权重	根据实际业务情况配置调度权重本文以配置无损队列和其他队列权重占比为4:1为例
qos wfq cs6 group sp	qos wfq cs6 group sp	设置6队列调度优先级为sp	根据实际业务情况配置调度权重
qos wfq cs7 group sp	qos wfq cs7 group sp	设置7队列调度优先级为sp	根据实际业务情况配置调度权重
qos wred apply 100G-WRED-Template	qos wred apply 100G-WRED-Template	端口使能100G的WRED表	-
qos gts queue 6 cir 50000000 cbs 16000000	qos gts queue 6 cir 50000000 cbs 16000000	CNP队列限速50G	-
quit	quit	-	-

2. 端口WRED方式

Leaf 1（S6850）	Leaf 2（S6850）	命令说明	注意事项
interface range HundredGigE1/0/29 to HundredGigE1/0/32	interface range HundredGigE1/0/29 to HundredGigE1/0/32	进入peer-link链路物理接口批量配置视图	-
qos trust dscp	qos trust dscp	端口QoS信任DSCP	-
qos wfq byte-count	qos wfq byte-count	设置WFQ队列调度	-
qos wfq be group 1 byte-count 15	qos wfq be group 1 byte-count 15	设置0队列调度权重	根据实际业务情况配置调度权重
qos wfq af1 group 1 byte-count 2	qos wfq af1 group 1 byte-count 2	设置1队列调度权重	根据实际业务情况配置调度权重
qos wfq af2 group 1 byte-count 2	qos wfq af2 group 1 byte-count 2	设置2队列调度权重	根据实际业务情况配置调度权重
qos wfq af3 group 1 byte-count 60	qos wfq af3 group 1 byte-count 60	设置3队列调度权重	根据实际业务情况配置调度权重本文以配置无损队列和其他队列权重占比为4:1为例
qos wfq cs6 group sp	qos wfq cs6 group sp	设置6队列调度优先级为sp	根据实际业务情况配置调度权重
qos wfq cs7 group sp	qos wfq cs7 group sp	设置7队列调度优先级为sp	根据实际业务情况配置调度权重
qos wred queue 3 drop-level 0 low-limit 1000 high-limit 2000 discard-probability 20 qos wred queue 3 drop-level 1 low-limit 1300 high-limit 2100 discard-probability 20 qos wred queue 3 drop-level 2 low-limit 1300 high-limit 2100 discard-probability 20	qos wred queue 3 drop-level 0 low-limit 1000 high-limit 2000 discard-probability 20 qos wred queue 3 drop-level 1 low-limit 1300 high-limit 2100 discard-probability 20 qos wred queue 3 drop-level 2 low-limit 1300 high-limit 2100 discard-probability 20	设置RoCE队列的ECN水线值	RoCE队列的low-limit和high-limit配置较小值，其他队列配置较大值
qos wred queue 3 weighting-constant 0	qos wred queue 3 weighting-constant 0	设置RoCE队列平均队列长度指数	-
qos wred queue 3 ecn	qos wred queue 3 ecn	开启RoCE队列ECN	-
qos wred queue 6 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 qos wred queue 6 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 qos wred queue 6 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20	qos wred queue 6 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 qos wred queue 6 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 qos wred queue 6 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20	设置CNP队列的ECN水线值	-
qos wred queue 6 ecn	qos wred queue 6 ecn	开启CNP队列ECN	-
qos gts queue 6 cir 50000000 cbs 16000000	qos gts queue 6 cir 50000000 cbs 16000000	CNP队列限速50G	-
quit	quit	-	-

1.5.7 配置与服务器互联链路

1. M-LAG接入链路

本节以Leaf 1、Leaf 2 Twenty-FiveGigE1/0/1端口的配置为例，其他端口配置类似，具体配置略。

Leaf 1（S6850）	Leaf 2（S6850）	命令说明	注意事项
interface bridge-aggregation 100	interface bridge-aggregation 100	创建聚合组100	-
link-aggregation mode dynamic	link-aggregation mode dynamic	设置聚合模式为动态聚合	-
port m-lag group 1	port m-lag group 1	配置接口为M-LAG接口1	-
quit	quit	-	-
interface Twenty-FiveGigE1/0/1	interface Twenty-FiveGigE1/0/1	配置与服务器互联端口	-
port link-aggregation group 100	port link-aggregation group 100	将物理口加入二层聚合组100中	-
broadcast-suppression 1	broadcast-suppression 1	设置端口广播抑制	-
multicast-suppression 1	multicast-suppression 1	设置端口组播抑制	-
stp edged-port	stp edged-port	配置端口为边缘端口	-
port monitor-link group 1 downlink	port monitor-link group 1 downlink	配置端口为monitor-link的下行口	-
quit	quit	-	-
interface bridge-aggregation 100	interface bridge-aggregation 100	-	-
port link-type trunk	port link-type trunk	配置端口的链路类型为Trunk类型	-
undo port trunk permit vlan 1	undo port trunk permit vlan 1	配置Trunk端口不允许VLAN 1的报文通过	-
port trunk permit vlan 1100 to 1500	port trunk permit vlan 1100 to 1500	配置Trunk端口允许通过的VLAN为VLAN 1100~1500	-
quit	quit	-	-

2. 单挂链路

Leaf 3（S6850）	Leaf 3（S6850）	命令说明	注意事项
interface range Twenty-FiveGigE1/0/1 Twenty-FiveGigE1/0/2	interface range Twenty-FiveGigE1/0/1 Twenty-FiveGigE1/0/2	配置与服务器互联端口	-
port link-type trunk	port link-type trunk	配置端口的链路类型为Trunk类型	-
undo port trunk permit vlan 1	undo port trunk permit vlan 1	配置Trunk端口不允许VLAN 1的报文通过	-
port trunk permit vlan 1100 to 1500	port trunk permit vlan 1100 to 1500	配置Trunk端口允许通过的VLAN为VLAN 1100~1500	-
broadcast-suppression 1	broadcast-suppression 1	设置端口广播抑制	-
multicast-suppression 1	multicast-suppression 1	设置端口组播抑制	-
stp edged-port	stp edged-port	配置端口为边缘端口	-
port monitor-link group 1 downlink	port monitor-link group 1 downlink	配置端口为monitor-link的下行口	-
quit	quit	-	-
interface bridge-aggregation 100	interface bridge-aggregation 100	创建聚合组100	创建一个空M-LAG接口用于规避单挂链路的使用限制单挂链路的使用限制请参考“M-LAG组网推荐方案”中的“单挂（即服务器通过非M-LAG接口接入）接入使用限制”
link-aggregation mode dynamic	link-aggregation mode dynamic	设置聚合模式为动态聚合	-
port m-lag group 1	port m-lag group 1	配置接口为M-LAG接口1	-
port link-type trunk	port link-type trunk	配置端口的链路类型为Trunk类型	-
undo port trunk permit vlan 1	undo port trunk permit vlan 1	配置Trunk端口不允许VLAN 1的报文通过	-
port trunk permit vlan 1100 to 1500	port trunk permit vlan 1100 to 1500	配置Trunk端口允许通过的VLAN为VLAN 1100~1500	-
quit	quit	-	-

1.5.8 配置与服务器互联链路的RoCE配置

1. WRED table方式

2. 端口WRED方式

1.5.9 配置underlay BGP实例

Leaf 1（S6850）	Leaf 2（S6850）	命令说明	注意事项
bgp 64636	bgp 64636	启动BGP实例	-
router-id 50.50.255.41	router-id 50.50.255.42	为指定的BGP实例配置BGP路由器的Router ID	如果要在BGP实例下运行BGP协议，则必须为BGP实例指定Router ID。如果没有指定Router ID，则缺省使用全局Router ID
group Spine external	group Spine external	创建EBGP对等体组	-
peer Spine as-number 64637	peer Spine as-number 64637	指定对等体的AS号	-
peer 172.16.2.153 group Spine	peer 172.16.2.157 group Spine	向对等体组中添加指定的对等体，即Spine	-
peer 172.16.3.153 group Spine	peer 172.16.3.157 group Spine	向对等体组中添加指定的对等体，即Spine	-
address-family ipv4 unicast	address-family ipv4 unicast	进入IPv4地址族	-
balance 32	balance 32	配置BGP负载分担的路由条数
network 55.50.138.0 255.255.255.128	network 55.50.138.0 255.255.255.128	BGP发布指定网段路由
network 55.50.153.128 255.255.255.128	network 55.50.153.128 255.255.255.128	BGP发布指定网段路由	-
network 55.50.250.0 255.255.255.192	network 55.50.250.0 255.255.255.192	BGP发布指定网段路由	-
network 55.50.255.41 255.255.255.255	network 55.50.255.41 255.255.255.255	BGP发布指定网段路由	-
peer Spine enable	peer Spine enable	允许本地路由器与指定对等体交换IPv4单播路由信息	-

1.5.10 配置VLAN接口及网关（VLAN双活网关方式）

Leaf 1（S6850）	Leaf 2（S6850）	命令说明	注意事项
interface Vlan-interface1121	interface Vlan-interface1121	配置VLAN接口	-
ip address 55.50.138.124 255.255.255.128	ip address 55.50.138.124 255.255.255.128	配置相同的IP地址	-
mac-address 0001-0001-0001	mac-address 0001-0001-0001	配置相同的MAC地址
dhcp select relay	dhcp select relay	配置接口工作在DHCP中继模式	-
dhcp relay server-address 55.50.128.12	dhcp relay server-address 55.50.128.12	指定DHCP服务器的地址	-
quit	quit	-	-
m-lag mad exclude interface Vlan-interface 1121	m-lag mad exclude interface Vlan-interface 1121	配置接口在M-LAG系统分裂后不处于M-LAG MAD DOWN状态	在下行口VLAN接口配置

1.5.11 配置VLAN接口及网关（VRRP网关方式）

Leaf 1（S6850）	Leaf 2（S6850）	命令说明	注意事项
interface Vlan-interface1121	interface Vlan-interface1121	配置VLAN接口	-
ip address 55.50.138.124 255.255.255.128	ip address 55.50.138.123 255.255.255.128	配置IP地址	-
vrrp vrid 1 virtual-ip 55.50.138.125	vrrp vrid 1 virtual-ip 55.50.138.125	配置VRRP虚IP
vrrp vrid 1 priority 150	vrrp vrid 1 priority 120	配置VRRP优先级
dhcp select relay	dhcp select relay	配置接口工作在DHCP中继模式	-
dhcp relay server-address 55.50.128.12	dhcp relay server-address 55.50.128.12	指定DHCP服务器的地址	-
quit	quit	-	-
m-lag mad exclude interface Vlan-interface 1121	m-lag mad exclude interface Vlan-interface 1121	配置接口在M-LAG系统分裂后不处于M-LAG MAD DOWN状态	在下行口VLAN接口配置

1.6 配置Spine

1.6.1 配置概览

请选择以下一项任务进行配置：

· 配置路由策略将从Leaf收到的路由的AS替换为本地AS

· 配置underlay BGP实例

1.6.2 配置RoCE的全局配置

1. PFC全局配置和数据缓冲区配置

Spine 1	Spine 2	命令说明	注意事项
priority-flow-control poolID 0 headroom 130000	priority-flow-control poolID 0 headroom 130000	设置PFC全局headroom最大可用的cell资源	配置为允许的最大值
priority-flow-control deadlock cos 3 interval 10	priority-flow-control deadlock cos 3 interval 10	设置PFC死锁检查周期，RoCE报文所在队列	-
priority-flow-control deadlock precision high	priority-flow-control deadlock precision high	设置PFC死锁检测定时器的精度	配置为最高精度
buffer egress cell queue 3 shared ratio 100	buffer egress cell queue 3 shared ratio 100	RoCE队列出方向缓存调到最大	-
buffer egress cell queue 6 shared ratio 100	buffer egress cell queue 6 shared ratio 100	CNP队列出方向缓存调到最大	-
buffer apply	buffer apply	使Buffer配置生效	-

2. 配置全局WRED表（仅WRED table方式涉及）

Spine 1	Spine 2	命令说明	注意事项
qos wred queue table 100G-WRED-Template	qos wred queue table 100G-WRED-Template	配置WRED表	-
queue 0 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 queue 0 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 queue 0 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20	queue 0 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 queue 0 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 queue 0 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20	配置基于队列0的WRED表的内容	-
queue 1 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 queue 1 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 queue 1 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20	queue 1 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 queue 1 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 queue 1 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20	配置基于队列1的WRED表的内容	-
queue 2 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 queue 2 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 queue 2 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20	queue 2 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 queue 2 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 queue 2 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20	配置基于队列2的WRED表的内容	-
queue 3 drop-level 0 low-limit 1000 high-limit 2000 discard-probability 20 queue 3 drop-level 1 low-limit 1000 high-limit 2000 discard-probability 20 queue 3 drop-level 2 low-limit 1000 high-limit 2000 discard-probability 20 queue 3 weighting-constant 0 queue 3 ecn	queue 3 drop-level 0 low-limit 1000 high-limit 2000 discard-probability 20 queue 3 drop-level 1 low-limit 1000 high-limit 2000 discard-probability 20 queue 3 drop-level 2 low-limit 1000 high-limit 2000 discard-probability 20 queue 3 weighting-constant 0 queue 3 ecn	配置基于队列3的WRED表的内容	RoCE队列的low-limit和high-limit配置较小值，其他队列配置较大值
queue 4 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 queue 4 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 queue 4 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20	queue 4 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 queue 4 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 queue 4 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20	配置基于队列4的WRED表的内容	-
queue 5 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 queue 5 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 queue 5 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20	queue 5 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 queue 5 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 queue 5 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20	配置基于队列5的WRED表的内容	-
queue 6 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 queue 6 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 queue 6 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20 queue 6 ecn	queue 6 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 queue 6 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 queue 6 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20 queue 6 ecn	配置基于队列6的WRED表的内容	-
queue 7 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 queue 7 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 queue 7 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20	queue 7 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 queue 7 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 queue 7 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20	配置基于队列7的WRED表的内容	-

1.6.3 配置与Leaf的互联链路

Spine 1	Spine 2	命令说明	配置目的
interface HundredGigE1/1/1	interface HundredGigE1/1/1	进入接口视图	配置与Leaf互联链路
port link-mode route	port link-mode route	将以太网接口切换到三层工作模式	-
ip address 172.16.2.153 255.255.255.252	ip address 172.16.3.153 255.255.255.252	配置IP	-
interface HundredGigE1/1/2	interface HundredGigE1/1/2	进入接口视图	配置与Leaf互联链路
port link-mode route	port link-mode route	将以太网接口切换到三层工作模式	-
ip address 172.16.2.157 255.255.255.252	ip address 172.16.3.157 255.255.255.252	配置IP	-
interface HundredGigE1/1/3	interface HundredGigE1/1/3	进入接口视图	配置与Leaf互联链路
port link-mode route	port link-mode route	将以太网接口切换到三层工作模式	-
ip address 172.16.2.81 255.255.255.252	ip address 172.16.3.81 255.255.255.252	配置IP	-
interface HundredGigE1/1/4	interface HundredGigE1/1/4	进入接口视图	配置与Leaf互联链路
port link-mode route	port link-mode route	将以太网接口切换到三层工作模式	-
ip address 172.16.2.85 255.255.255.252	ip address 172.16.3.85 255.255.255.252	配置IP	-

1.6.4 配置与Leaf互联链路的RoCE配置

1. WRED table方式

2. 端口WRED方式

1.6.5 配置路由策略将从Leaf收到的路由的AS替换为本地AS

Spine设备配置路由策略，将从Leaf收到的路由的AS替换为本地AS，否则Leaf设备无法学习其他Leaf发布的路由（设备收到BGP邻居发布的路由会检查AS_PATH属性，如果路由的AS_PATH中包含自身AS号，则不会学习该路由）。

Spine1	Spine2	命令说明	注意事项
ip as-path leaf_aspath permit 64636	ip as-path leaf_aspath permit 64636	配置一个AS路径过滤列表	-
route-policy leaf_aspath_out permit node 10	route-policy leaf_aspath_out permit node 10	配置路由策略leaf_aspath_out的node 10	-
if-match as-path leaf_aspath	if-match as-path leaf_aspath	通过AS路径过滤列表匹配路由	-
apply as-path 64637 replace	apply as-path 64637 replace	配置BGP路由信息的AS_PATH属性，替换原有AS号	-
route-policy leaf_aspath_out permit node 1000	route-policy leaf_aspath_out permit node 1000	配置路由策略leaf_aspath_out的node 1000	-

1.6.6 配置underlay BGP实例

Spine1	Spine2	命令说明	注意事项
bgp 64637	bgp 64637	启动BGP实例	-
router-id 50.50.255.1	router-id 50.50.255.2	为指定的BGP实例配置BGP路由器的Router ID	如果要在BGP实例下运行BGP协议，则必须为BGP实例指定Router ID，如果没有指定Router ID，则缺省使用全局Router ID
group Leaf external	group Leaf external	创建EBGP对等体组	-
peer Leaf as-number 64636	peer Leaf as-number 64636	指定对等体组的AS号	-
peer 172.16.2.154 group Leaf	peer 172.16.3.154 group Leaf	向对等体组中添加指定的对等体，即Leaf	-
peer 172.16.2.158 group Leaf	peer 172.16.3.158 group Leaf	向对等体组中添加指定的对等体，即Leaf	-
peer 172.16.2.82 group Leaf	peer 172.16.3.82 group Leaf	向对等体组中添加指定的对等体，即Leaf	-
peer 172.16.2.86 group Leaf	peer 172.16.3.86 group Leaf	向对等体组中添加指定的对等体，即Leaf	-
address-family ipv4 unicast	address-family ipv4 unicast	进入IPv4地址族	-
balance 32	balance 32	配置BGP负载分担的路由条数	-
peer Leaf enable	peer Leaf enable	允许本地路由器与指定对等体交换IPv4单播路由信息	-
peer Leaf route-policy leaf_aspath_out export	peer Leaf route-policy leaf_aspath_out export	为IPv4对等体设置基于路由策略的路由修改下一跳策略	-

1.7 命令增删对流量的影响

修改Leaf或Spine数据缓冲区和PFC的配置可能引起丢包，例如实验室环境测试S6850设备R6710版本丢包情况如表1-1所示，现网环境丢包情况与组网规模和配置有关，请以具体情况为准。

表1-1 命令增删对流量的影响描述表

命令	命令说明	丢包情况
buffer apply	使数据缓冲区的配置生效	单条流丢480ms，整机丢秒级
priority-flow-control no-drop dot1p 3	使能/去使能端口PFC优先级	丢包30ms左右
priority-flow-control dot1p 5 headroom 125	修改PFC的headroom值	丢包10ms内
priority-flow-control dot1p 5 reserved-buffer 17	修改PFC的reserved-buffer值	丢包10ms内
priority-flow-control dot1p 5 ingress-buffer dynamic 5	修改PFC入方向门限dynamic值	丢包10ms内
priority-flow-control dot1p 5 ingress-threshold-offset 12	修改PFC入方向反压帧停止门限与触发门限间的偏移量	丢包10ms内
undo stp edged-port	端口视图取消端口为边缘端口	对应接口学习的mac会删除，二层流会广播
qos wfq byte-count	端口配置WFQ队列调度	丢包约40ms
qos wfq af3 group 1 byte-count 50	端口配置3队列调度权重	丢包约30ms
qos map-table import 1 export 1	修改设备qos-map对应表	不丢包
qos wred apply 100G-WRED-Template	端口应用WRED模板	不丢包
queue 3 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20	修改ECN的水线值及丢弃概率	不丢包
queue 5 weighting-constant 0	修改WRED计算平均队列长度的指数	不丢包
qos gts queue 3 cir 4000000 cbs 16000000	配置GTS限速	不丢包
stp edged-port	配置端口为边缘端口	不丢包
priority-flow-control enable	端口使能PFC	不丢包
priority-flow-control deadlock enable	端口配置PFC死锁	不丢包
buffer threshold alarm	全局配置buffer告警	不丢包
配置MQC，动作为accounting	配置MQC，动作为accounting	不丢包
配置端口入方向MQC，匹配dot1p，remark dscp	端口下发入方向MQC	不丢包
配置端口出方向MQC，匹配dscp，remark dot1p	端口下发出方向MQC	不丢包
priority-flow-control poolID 0 headroom 9928	全局配置PFC的headroom值	不丢包
dldp enable	端口开启DLDP功能	不丢包
unicast-suppression 1	端口使能/去使能未知单播抑制	不丢包
broadcast-suppression	端口使能/去使能广播抑制	不丢包
multicast-suppression	端口使能/去使能组播抑制	不丢包
stp root-protection	端口开启/关闭根保护功能	不丢包
grpc相关配置	全局配置GRPC相关配置	不丢包

1.8 流量模型

编号	类型	流量方向	流量路径	仿真方式	流量大小	说明
1	单播/L2	同组M-LAG Leaf东西	M-LAG接入：Server1-Leaf1/Leaf2-Server2 单挂：Server3-Leaf3- Leaf4-Server4	测试仪	轻载/拥塞	Server1与server2之间二层互通；
2	单播/L2	同组M-LAG Leaf东西	M-LAG接入：Server2-Leaf2/Leaf1-Server1 单挂：Server4-Leaf4 –Leaf3-Server3	测试仪	轻载/拥塞	Server2与server1之间二层互通；
3	已知单播/IPV4	同组M-LAG Leaf东西	M-LAG接入：Server1-Leaf1/Leaf2-Server2 单挂：Server3-Leaf3 –Leaf4-Server4	测试仪	轻载/拥塞	Server1与server2之间三层互通；
4	已知单播/IPV4	同组M-LAG Leaf东西	M-LAG接入：Server2-Leaf2/Leaf1-Server1 单挂：Server4-Leaf4 –Leaf3-Server3	测试仪	轻载/拥塞	Server2与server1之间三层互通；
5	已知单播/IPV4	不同组M-LAG Leaf东西	Server1-Leaf1/Leaf2-Spine 1/Spine 2-Leaf3-Server3	测试仪	轻载/拥塞	Server1与server3之间三层互通；
6	已知单播/IPV4	不同组M-LAG Leaf东西	Server3-Leaf3-Spine 1/Spine 2-Leaf1/Leaf2-Server1	测试仪	轻载/拥塞	Server1与server3之间三层互通；

1.9 收敛时间测试

1.9.1 故障测试

表1-2 链路故障测试情况表

设备	故障类型	流量中断时间	故障类型	流量中断时间
Leaf	单上行链路故障	420ms	单上行链路恢复	0ms
	Leaf双上行链路故障	330ms	Leaf双上行链路恢复	0ms
	下行单挂故障	120ms	下行单挂恢复	0ms
	peer-link链路故障（备设备被mad down）	740ms	peer-link链路故障恢复	0ms
	peer-link链路成员口故障	10ms	peer-link链路成员口恢复	0ms
	Keepalive链路故障	0ms	Keepalive链路故障恢复	0ms
	M-LAG主设备整机重启（重启时）	170ms	M-LAG主设备整机重启（恢复时）	0ms（若重新选举则丢包）
	M-LAG备设备整机重启（重启时）	170ms	M-LAG备设备整机重启（恢复时）	0ms
Spine	整机重启（重启时）	30ms	整机重启（恢复时）	0ms
Spine	下行ECMP链路单点故障	160ms	下行ECMP链路单点故障恢复	0ms

1.10 配置验证命令行

表1-3 配置验证命令汇总表

Leaf 1	Leaf 2	命令说明
display m-lag summary	display m-lag summary	显示M-LAG系统的接口摘要信息
display m-lag system	display m-lag system	显示M-LAG系统信息
display m-lag keepalive	display m-lag keepalive	显示M-LAG Keepalive报文的信息
display m-lag role	display m-lag role	显示M-LAG设备角色信息
display m-lag consistency-check status	display m-lag consistency-check status	显示M-LAG配置一致性检查状态
display vrrp verbose	display vrrp verbose	查看VRRP信息
display priority-flow-control interface	display priority-flow-control interface	显示接口的PFC信息
display qos wred interface	display qos wred interface	查看接口的ECN信息
display qos map-table dot1p-lp	display qos map-table dot1p-lp	查看dot1p-lp的映射关系
display qos map-table dscp-dot1p	display qos map-table dscp-dot1p	查看dscp-dot1p的映射关系

1.10.2 验证配置详细信息

# 在Leaf1上查看Leaf 1与Leaf 2之间的M-LAG系统状态，M-LAG正常建立。

[leaf1] display m-lag summary

Flags: A -- Aggregate interface down, B -- No peer M-LAG interface configured

C -- Configuration consistency check failed

Peer-link interface: BAGG1000

Peer-link interface state (cause): UP

Keepalive link state (cause): UP

M-LAG interface information

M-LAG IF M-LAG group Local state (cause) Peer state Remaining down time(s)

BAGG100 1 UP UP -

# 在Leaf 1上查看M-LAG系统信息。

[leaf1] display m-lag system

System information

Local system number: 1 Peer system number: 2

Local system MAC: 2001-0000-0018 Peer system MAC: 2001-0000-0018

Local system priority: 110 Peer system priority: 110

Local bridge MAC: 0068-5716-5701 Peer bridge MAC: 90e7-10b2-f8aa

Local effective role: Primary Peer effective role: Secondary

Health level: 0

Standalone mode on split: Disabled

In standalone mode: No

System timer information

Timer State Value (s) Remaining time (s)

Auto recovery Disabled - -

Restore delay Disabled 30 -

Consistency-check delay Disabled 15 -

Standalone delay Disabled - -

Role to None delay Disabled 60 -

# 在Leaf 1上查看M-LAG Keepalive报文的信息。

[leaf1] display m-lag keepalive

Neighbor keepalive link status (cause): Up

Neighbor is alive for: 451077 s 86 ms

Keepalive packet transmission status:

Sent: Successful

Received: Successful

Last received keepalive packet information:

Source IP address: 1.1.1.2

Time: 2022/06/07 16:19:43

Action: Accept

M-LAG keepalive parameters:

Destination IP address: 1.1.1.2

Source IP address: 1.1.1.1

Keepalive UDP port : 6400

Keepalive interval : 1000 ms

Keepalive timeout : 5 sec

Keepalive hold time: 3 sec

# 在Leaf 1上查看M-LAG设备角色信息。

[leaf1] display m-lag role

Effective role information

Factors Local Peer

Effective role Primary Secondary

Initial role None None

MAD DOWN state Yes Yes

Health level 0 0

Role priority 50 100

Bridge MAC 0068-5716-5701 90e7-10b2-f8aa

Effective role trigger: Peer link calculation

Effective role reason: Role priority

Configured role information

Factors Local Peer

Configured role Primary Secondary

Role priority 50 100

Bridge MAC 0068-5716-5701 90e7-10b2-f8aa

# 在Leaf 1上查看M-LAG配置一致性信息。

[leaf1] display m-lag consistency-check status

Global Consistency Check Configuration

Local status : Enabled Peer status : Enabled

Local check mode : Strict Peer check mode : Strict

Consistency Check on Modules

Module Type1 Type2

LAGG Check Check

VLAN Check Check

STP Check Check

MAC Not Check Check

L2VPN Not Check Check

PORTSEC Not Check Not Check

DOT1X Not Check Not Check

MACA Not Check Not Check

WEBAUTH Not Check Not Check

NETANALYSIS Not Check Check

Type1 Consistency Check Result

Global consistency check result: SUCCESS

Inconsistent global modules: -

M-LAG IF M-LAG group ID Check Result Inconsistency modules

BAGG100 1 SUCCESS -

1.11 参数调整简介

通常情况下，建议参考最佳实践/配置指导书组网，并采用PFC和ECN的推荐配置值。推荐值在一般的组网环境下是效果较好的参数组合，一般不需要调整。

有些情况下，由于组网需求或网络中的设备、服务器存在特殊性，需要进一步调整参数时，请参考1.12 参数调整指导。

1.11.1 PFC推荐值

对于S6805 & S6825 & S6850 & S9850、S9820-64H、S9820-8C、S9825&S9855设备，开启指定802.1p优先级的PFC功能后，设备会为PFC的各种门限设置一个缺省值，具体请参考表1-4、表1-5、表1-6。

此缺省值在一般的组网环境下是效果较好的参数组合，一般不建议调整。

表1-4 S6805 & S6825 & S6850 & S9850 PFC门限缺省值

PFC门限（右）接口类型（下）	Headroom缓存门限（cell）	动态反压帧触发门限(%)	反压帧停止门限与触发门限间的偏移量（cell）	PFC预留门限（cell）
1GE/10GE	100	5	12	17
25GE	125	5	12	17
40GE	200	5	12	17
50GE	308	5	12	17
100GE	491	5	12	17

表1-5 S9820-64H PFC门限缺省值

PFC门限（右）接口类型（下）	Headroom缓存门限（cell）	动态反压帧触发门限(%)	反压帧停止门限与触发门限间的偏移量（cell）	PFC预留门限（cell）
25GE	125	5	12	20
100GE	491	5	12	20

PFC门限（右）

接口类型（下）

Headroom缓存门限（cell）

动态反压帧触发门限(%)

反压帧停止门限与触发门限间的偏移量（cell）

PFC预留门限（cell）

25GE

125

100GE

491

表1-6 S9820-8C PFC门限缺省值

PFC门限（右）接口类型（下）	Headroom缓存门限（cell）	动态反压帧触发门限(%)	反压帧停止门限与触发门限间的偏移量（cell）	PFC预留门限（cell）
100GE	491	5	12	20
200GE	705	5	12	20
400GE	1000	5	12	20

1.11.2 ECN推荐值

对于ECN功能，RoCE队列推荐使用表1-7的配置值，其他队列可按需配置较大的平均长度下限值和平均长度上限值。

表1-7 ECN各门限推荐值

PFC门限（右）接口类型（下）	队列平均长度的下限	队列平均长度的上限	丢弃概率	计算平均队列长度的指数
25GE	400	1625	20	0
50GE	600	1500	20	0
100GE	1000	2000	20	0
200GE	1500	3000	20	0
400GE	2100	5000	20	0

1.11.3 网卡配置参考

确认服务器网卡是否支持和启用了PFC和ECN功能（具体操作方式请参考服务器的资料说明），并查看服务器的RoCE队列报文是否携带ECN标志位。

本文以Mellanox ConnectX-6 Lx网卡的配置作为示例。

需要注意的是：网卡配置在服务器重启和网卡重启后会失效，重启服务器或重启网卡后需要重新配置（网卡配置没有写到配置文件中，因此重启会失效）。

1. 网卡型号和版本

项目	信息
网卡型号	Ethernet controller: Mellanox Technologies MT2894 Family [ConnectX-6 Lx]
网卡驱动版本	MLNX_OFED_LINUX-5.4-3.2.7.2.3-rhel8.4-x86_64
网卡固件版本	driver: mlx5_core version: 5.4-3.2.7.2.3 firmware-version: 26.31.2006 (MT_0000000531)

2. 准备工作

执行mst start命令开启MST（Mellanox Software Tools）服务。

执行mst status查看Mellanox设备状态信息。

（可选）执行show_gids命令查看网卡名称、GID值、IP地址。

3. 配置网卡接口信任报文的DSCP优先级

执行mlnx_qos -i ifname --trust dscp命令配置接口信任报文的DSCP优先级，ifname为网卡接口名称。

另外需要注意，网卡上设置的报文的DSCP值需要与设备上RoCE报文的DSCP优先级对应，即设备上开启PFC和ECN功能的802.1p优先级映射的DSCP优先级等于网卡发出报文的DSCP优先级。

4. 设置CNP报文的DSCP优先级

步骤如下：

(1) 使用ethtool -i ifname bus-info命令查看接口的bus-info值。例如查看ens1f0接口的bus-info值执行ethtool -i ens1f0 bus-info，查询到ens1f0接口的bus-info为0000:86:00.0。

(2) 进入设置DSCP优先级的路径cd /sys/kernel/debug/mlx5/0000:86:00.0/cc_params

(3) 执行echo priority_value > np_cnp_dscp命令设置CNP报文的DSCP优先级，例如设置CNP报文的DSCP优先级为48执行echo 48 > np_cnp_dscp。

(4) 执行cat np_cnp_dscp命令查看CNP报文优先级是否修改成功。

5. 开启RoCE队列的PFC功能

执行mlnx_qos -i ifname ––pfc 0,1,2,3,4,5,6,7命令开启RoCE队列的PFC功能。ifname为网卡接口名称。0,1,2,3,4,5,6,7对应位置的值设置为0表示数值代表的优先级不开启PFC，设置为1表示数值代表的优先级开启PFC。

例如，开启接口ens1f0 802.1P优先级为5的报文的PFC命令为mlnx_qos -i ens1f0 –-pfc 0,0,0,0,0,1,0,0。

执行mlnx_qos -i ifname命令可以查看接口PFC功能开启情况。值为1表示该优先级的报文开启PFC。

6. 开启RoCE队列的ECN功能

执行如下命令开启指定优先级报文的ECN功能：

echo 1 > /sys/class/net/ifname/ecn/roce_np/enable/priority_value

echo 1 > /sys/class/net/ifname/ecn/roce_rp/enable/priority_value

例如开启接口ens1f0优先级为5的报文的ECN功能执行：

echo 1 > /sys/class/net/ens1f0/ecn/roce_np/enable/5

echo 1 > /sys/class/net/ens1f0/ecn/roce_rp/enable/5

执行下面命令查看ECN是否开启成功，返回1表示开启成功，返回为0表示没有开启。

cat /sys/class/net/ifname/ecn/roce_np/enable/priority_value

cat /sys/class/net/ifname/ecn/roce_rp/enable/priority_value

1.12 参数调整指导

1.12.1 配置限制和指导

在进行参数调整的过程中，配置如下PFC、QoS、数据缓冲区相关命令时会导致端口流量中断。

· buffer apply

· buffer egress cell queue shared（配置本命令本身不丢包，执行buffer apply应用配置时丢包）

· qos wred apply

· qos wrr weight

· qos wrr group weight

· qos wfq byte-count

· qos wfq queue-id group { 1 | 2 } byte-count

· priority-flow-control no-drop dot1p

· priority-flow-control dot1p headroom

· priority-flow-control dot1p ingress-buffer dynamic

· priority-flow-control dot1p ingress-buffer static

· priority-flow-control dot1p ingress-threshold-offset

· priority-flow-control dot1p reserved-buffer

1.12.2 观察是否存在丢包

1. 查看接口是否有丢包

查看接口HundredGigE1/0/25丢弃报文的信息。

<Sysname> display packet-drop interface hundredgige 1/0/25

HundredGigE1/0/25:

Packets dropped due to Fast Filter Processor (FFP): 0

Packets dropped due to Egress Filter Processor (EFP): : 0

Packets dropped due to STP non-forwarding state: 0

Packets dropped due to insufficient data buffer. Input dropped: 0 Output dropped: 0

Packets of ECN marked: 0

Packets of WRED droped: 0

2. 出现数据缓冲区不足（insufficient data buffer）丢包处理

(1) 若出现Input dropped类型的丢包，可以增加端口Headroom缓存门限值的大小，建议按照当前配置值的倍数进行调整，直到不再出现Input dropped类型的丢包。例如：

# 配置Headroom缓存门限为982。

<sysname> system-view

[Sysname] interface hundredgige 1/0/25

[Sysname-HundredGigE1/0/25] priority-flow-control dot1p 5 headroom 982

如果调整至最大值仍然丢包，请排查服务器网卡是否支持和启用PFC功能。

(2) 若出现Output dropped类型的丢包，需要检查队列出方向最大共享区域占用比是否配置为100%和是否执行了buffer apply命令。例如：

# 配置队列5在cell资源中的最大共享缓存占用比为100%并应用配置。

<sysname> system-view

[Sysname] buffer egress cell queue 5 shared ratio 100

[Sysname] buffer apply

如果出方向队列配置为100%后仍然有Output dropped类型的丢包，则可能存在组网或配置问题，请排查组网和配置问题或联系技术支持。

3. 出现WRED类型（WRED droped）丢包处理

(1) 若出现WRED droped丢包，请查看RoCE队列的ECN功能是否已开启。

<Sysname> display qos wred table

Table name: 1

Table type: Queue based WRED

QID gmin gmax gprob ymin ymax yprob rmin rmax rprob exponent ECN

----------------------------------------------------------------------------

0 100 1000 10 100 1000 10 100 1000 10 9 N

1 100 1000 10 100 1000 10 100 1000 10 9 N

2 100 1000 10 100 1000 10 100 1000 10 9 N

3 100 1000 10 100 1000 10 100 1000 10 9 N

4 100 1000 10 100 1000 10 100 1000 10 9 N

5 100 1000 10 100 1000 10 100 1000 10 9 N

6 100 1000 10 100 1000 10 100 1000 10 9 N

7 100 1000 10 100 1000 10 100 1000 10 9 N

(2) 若RoCE队列的ECN功能未开启（显示信息中ECN字段显示为N），则需要开启RoCE队列的ECN功能。

<Sysname> system-view

[Sysname] interface hundredgige 1/0/25

[Sysname-HundredGigE1/0/25] qos wred queue 5 ecn

(3) 若RoCE队列的ECN功能开启后WRED类型的丢包继续增加，则需要查看服务器的RoCE队列报文是否携带ECN标志位。若未携带，请排查服务器网卡是否启用了PFC和ECN功能。

(4) 如果仍然存在丢包，请联系技术支持。

1.12.3 观察时延是否满足需求

为了满足时延需求，在不丢包的情况下，可以调整ECN和PFC的部分参数，进而降低时延。调整时延会影响吞吐，可以认为的原则是：在拥塞网络环境下，占用的buffer越小，时延越低，吞吐量较小；占用的buffer越大，时延越大，吞吐量较大。请根据具体组网需求平衡时延和吞吐的关系。

不拥塞网络环境下，PFC和ECN等功能不生效。触发ECN、PFC后，报文转发降速。调整的原则是尽量在低buffer占用，不丢包的情况下触发ECN和PFC。建议优先调整ECN。

另外需要注意的是，参数调整还需要考虑服务器网卡的支持情况，包括网卡对PFC、ECN报文的响应机制，是否有PFC、ECN相关的特殊能力。例如有些网卡支持自降速功能（时延大的情况自动降速）。此时如果我们想要加大吞吐，但是调整后加大了时延，服务器自降速了，反而起到了和预期相反的效果。建议调整前先查阅服务器的相关资料，了解服务器网卡PFC、ECN功能的支持情况和相关功能，并在调整过程中实际验证调整是否合适。

1. 调整ECN

可以调整WRED表中各队列的如下参数，控制时延与吞吐量：

· Low-limit（队列平均长度的下限）和high-limit（队列平均长度的上限）：通过调低low-limit和high-limit值，可以更快的触发ECN标记，使时延更低，但可能会影响吞吐量。

· Weighting-constan（计算平均队列长度的指数）：表示的是队列深度的计算方式，为0表示实时队列深度，对ECN的标记会更灵敏。平均队列长度的指数越大，计算平均队列长度时对队列的实时变化越不敏感。建议保持推荐值。仅在完成其他调整项后仍然无效的情况下再尝试调整。

· discard-probability（丢弃概率）：在使能了ECN后，代表的是标记概率，该值越大，表示在上下限门限之间被标记的报文数越多。建议保持推荐值，仅在完成其他调整项后仍然无效的情况下再尝试调整。可以按照当前值20%的幅度进行调整。

配置举例：

# 配置队列5的WRED参数：队列平均长度的下限为800，队列平均长度的上限为1800。

<Sysname> system-view

[Sysname] qos wred queue table queue-table1

[Sysname-wred-table-queue-table1] queue 5 drop-level 0 low-limit 800 high-limit 1800

[Sysname-wred-table-queue-table1] queue 5 drop-level 1 low-limit 800 high-limit 1800

[Sysname-wred-table-queue-table1] queue 5 drop-level 2 low-limit 800 high-limit 1800

2. 调整PFC

PFC是ECN后的一层屏障，保证设备不丢包。PFC一般不被触发，对时延影响不大，并且PFC门限调整过低会影响吞吐量，所以一般不建议调整。

但如果想进一步降低时延，可以尝试调整ingress-buffer参数（反压帧触发门限）。

需要注意的是，在设备有流量收发的情况下调整PFC门限会引起丢包。

(1) 减小ingress-buffer门限值，建议跟随WRED的high-limit门限进行调整（按当前值10%的幅度减小），但要保证该门限值大于WRED的high-limit门限值，保证设备优先触发ECN功能。

# 配置动态反压帧触发门限为4。

<sysname> system-view

[Sysname] interface hundredgige 1/0/25

[Sysname-HundredGigE1/0/25] priority-flow-control dot1p 5 ingress-buffer dynamic 4

(2) 调整完成后，可以通过命令行多次查看接口的PFC信息，尽量保证设备上PFC的收发数量较少，即不触发或偶尔触发PFC。如果多次查看发现存在PFC报文收发，则表示ingress-buffer值配置过低，建议回调。

# 显示接口的PFC信息。

<Sysname> display priority-flow-control interface

Conf -- Configured mode Ne -- Negotiated mode P -- Priority

Interface Conf Ne Dot1pList P Recv Sent Inpps Outpps

HGE1/0/25 Auto On 0,2-3,5-6 0 178 43 12 15

1.13 升级操作

1.13.1 Leaf的升级

1. 升级前的命令行检查

升级前的命令行检查，请参见“1.10 配置验证命令行”和以下表格中的命令行。

表1-8 升级前的命令行检查汇总表

Leaf 1	Leaf 2	命令说明
display device	display device	用来显示设备信息
display boot-loader	display boot-loader	用来显示本次启动和下次启动所采用的启动软件包的名称
display version	display version	用来显示系统版本信息

2. 升级操作

具体操作步骤请参考“H3C交换机M-LAG升级、替换、扩容指导”。

3. 升级操作中流量中断时间

单点故障（轻载）时间正切小于500ms，回切小于50ms（传统升级方式，两台M-LAG设备逐台升级）。具体参见“1.9 收敛时间测试”。

4. 升级后的命令行检查

升级后的命令行检查，请参见“1.10 配置验证命令行”和以下表格中的命令行。

表1-9 升级后的命令行检查汇总表

Leaf 1	Leaf 2	命令说明
display device	display device	用来显示设备信息
display boot-loader	display boot-loader	用来显示本次启动和下次启动所采用的启动软件包的名称
display version	display version	用来显示系统版本信息

1.13.2 Spine的升级

1. 升级前的命令行检查

升级前的命令行检查，请参见“1.10 配置验证命令行”和以下表格中的命令行。

表1-10 升级前的命令行检查汇总表

Spine 1	Spine 2	命令说明
display device	display device	用来显示设备信息
display boot-loader	display boot-loader	用来显示本次启动和下次启动所采用的启动软件包的名称
display version	display version	用来显示系统版本信息

2. 升级操作

升级设备软件前，请进行如下操作：

(1) 使用display version命令查看设备当前运行的BootWare程序以及启动软件的版本。

(2) 获取新软件的版本发布说明书，了解新软件的版本号、软件大小以及和当前运行的BootWare程序以及Comware软件的兼容性。

(3) 通过版本发布说明书了解将安装的软件包是否需要License。如果需要，查看设备上是否有对应的有效的License。如果没有，请先安装License。否则，会导致软件包安装失败。

(4) 使用dir命令查看存储介质是否有足够的空间存储新的软件。如果存储空间不足，可使用delete命令删除一些暂时不用的文件。请保证系统中所有的主控板都有足够的存储空间。

(5) 使用FTP、TFTP方式将新软件包下载到任一文件系统的根目录下。

具体升级方式没有特殊要求，以现场情况为准。

3. 升级操作中流量中断时间

单点故障（轻载）时间正切小于200ms，回切小于50ms。具体参见“1.9 收敛时间测试”。

4. 升级后的命令行检查

升级后的命令行检查，请参见“1.10 配置验证命令行”和以下表格中的命令行。

表1-11 升级后的命令行检查汇总表

Leaf 1	Leaf 2	命令说明
display device	display device	用来显示设备信息
display boot-loader	display boot-loader	用来显示本次启动和下次启动所采用的启动软件包的名称
display version	display version	用来显示系统版本信息

1.14 扩容操作

本文描述的扩容操作指新增一组Leaf设备。

1.14.1 Leaf的扩容操作

1. 扩容前的命令行检查

扩容前的命令行检查，请参见“1.10 配置验证命令行”和以下表格中的命令行。

表1-12 扩容前的命令行检查汇总表

Leaf 1	Leaf 2	命令说明
display device	display device	用来显示设备信息
display boot-loader	display boot-loader	用来显示本次启动和下次启动所采用的启动软件包的名称
display version	display version	用来显示系统版本信息

2. 扩容操作

(1) 新增设备断开网管

(2) 升级完成相应版本

(3) 做好预配置

(4) 接入网管

3. 扩容操作中流量中断时间

具体参见“1.9 收敛时间测试”。

4. 扩容后的命令行检查

扩容后的命令行检查，请参见下表中的命令行。

表1-13 扩容后的命令行检查汇总表

Leaf 1	Leaf 2	命令说明
display device	display device	用来显示设备信息
display boot-loader	display boot-loader	用来显示本次启动和下次启动所采用的启动软件包的名称
display version	display version	用来显示系统版本信息

1.15 替换操作

1.15.1 业务板替换操作

1. 替换前的命令行检查

替换前的命令行检查，请参见“1.10 配置验证命令行”和以下表格中的命令行。

表1-14 替换前的命令行检查汇总表

Leaf 1	Leaf 2	命令说明
display device	display device	用来显示设备信息
display boot-loader	display boot-loader	用来显示本次启动和下次启动所采用的启动软件包的名称
display version	display version	用来显示系统版本信息

2. 替换操作

相关业务板上的业务及网管流量应先行切换到正常业务板上。

支持业务板热插拔或者整机断电替换，具体根据现场情况而定。

具体操作步骤请参考“H3C交换机M-LAG升级、替换、扩容指导”。

3. 替换操作中流量中断时间

具体参见“1.9 收敛时间测试”。

4. 替换后的命令行检查

与替换前命令行检查相同。

1.15.2 网板替换操作

1. 替换前的命令行检查

替换前的命令行检查，请参见“1.10 配置验证命令行”和以下表格中的命令行。

表1-15 替换前的命令行检查汇总表

Leaf 1	Leaf 2	命令说明
display device	display device	用来显示设备信息
display boot-loader	display boot-loader	用来显示本次启动和下次启动所采用的启动软件包的名称
display version	display version	用来显示系统版本信息

2. 替换操作

支持网板热插拔或者整机断电替换，具体根据现场情况而定。

3. 替换操作中流量中断时间

具体参见“1.9 收敛时间测试”。

4. 替换后的命令行检查

与替换前命令行检查相同。

顶端

不同款型规格的资料略有差异, 详细信息请向具体销售和400咨询。 H3C保留在没有任何通知或提示的情况下对资料内容进行修改的权利!

不同款型规格的资料略有差异, 详细信息请向具体销售和400咨询。H3C保留在没有任何通知或提示的情况下对资料内容进行修改的权利!

热门推荐

热门推荐

H3C服务器

HPE服务器

热门推荐

H3C存储

HPE存储

热门推荐

商用台式机

商用笔记本

商用显示器

配件

热门推荐

热门推荐

智能终端

技术解决方案

热门推荐

热门推荐

热门推荐

热门推荐

热门推荐

热门推荐

热门推荐

专业安全服务

安全运营服务

热门推荐

热门推荐

热门推荐

热门推荐

热门推荐

技术支持

自助服务

热门推荐

热门推荐

热门推荐

热门推荐

热门推荐

热门推荐

公司刊物

加入我们

国家/地区

H3C数据中心交换机M-LAG配置指导书-6W102

目录

06-M-LAG+RDMA配置举例

1 M-LAG+RDMA配置举例

1.5 配置Leaf

1.5.2 配置RoCE的全局配置

1. PFC全局配置和数据缓冲区配置

2. 配置全局WRED表（仅WRED table方式涉及）

3. 配置QoS优先级映射

1.5.3 配置与Spine互联链路

1.5.4 配置与Spine互联链路的RoCE配置

1. WRED table方式

2. 端口WRED方式

1.5.5 配置M-LAG

1.5.6 配置peer-link链路的RoCE配置

1. WRED table方式

2. 端口WRED方式

1.5.7 配置与服务器互联链路

1. M-LAG接入链路

1.5.8 配置与服务器互联链路的RoCE配置

1. WRED table方式

2. 端口WRED方式

1.5.9 配置underlay BGP实例

1.5.10 配置VLAN接口及网关（VLAN双活网关方式）

1.5.11 配置VLAN接口及网关（VRRP网关方式）

1.6.2 配置RoCE的全局配置

1. PFC全局配置和数据缓冲区配置

2. 配置全局WRED表（仅WRED table方式涉及）

1.6.3 配置与Leaf的互联链路

1.6.4 配置与Leaf互联链路的RoCE配置

1. WRED table方式

2. 端口WRED方式

1.6.5 配置路由策略将从Leaf收到的路由的AS替换为本地AS

1.6.6 配置underlay BGP实例

1.11.1 PFC推荐值

1.11.2 ECN推荐值

1. 网卡型号和版本

2. 准备工作

3. 配置网卡接口信任报文的DSCP优先级