06-DRNI+RDMA配置举例-6W100

本章节下载 (526.58 KB)

06-DRNI+RDMA配置举例-6W100

1.5.4 配置与Spine互联链路的RoCE配置

1.5.5 配置DRNI

1.5.6 配置IPL链路的RoCE配置

1.5.7 配置与服务器互联链路

1.5.8 配置与服务器互联链路的RoCE配置

1.5.9 配置underlay BGP实例

1.5.10 配置VLAN接口及网关（VLAN双活网关方式）

1.5.11 配置VLAN接口及网关（VRRP网关方式）

1.6.4 配置与Leaf互联链路的RoCE配置

1.6.5 配置路由策略将从Leaf收到的路由的AS替换为本地AS

1.6.6 配置underlay BGP实例

1 DRNI+RDMA配置举例

1.1 组网需求

如图1-1所示，在数据中心（DC）内部构建一个稳定的二层网络，实现跨Leaf和跨Spine流量互通：

· Leaf作为接入交换机，部署DRNI提高可靠性。对于DR链路，进行负载分担提高链路利用率。Leaf配置VLAN双活网关或者VRRP，以满足服务器Server的入网需求。

· Spine作为汇聚层设备，部署RR，负责在各个Leaf间反射BGP路由。

· 在Leaf和Spine上部署PFC、数据缓冲区等智能无损网络特性，使以太网具备智能化拥塞控制功能，为RDMA提供零丢包的网络环境。本文以实现802.1p优先级为3的报文的无损转发为例。

· Leaf 配置DHCP Relay来转发DHCP报文，协助服务器获取IP地址。

图1-1 DRNI+RDMA组网图

设备	接口	IP地址	对接设备及接口
Leaf 1	WGE1/0/1	DR成员端口	服务器Server1
	WGE1/0/2	DR成员端口	服务器Server2
	HGE1/0/29	IPP成员端口	Leaf 2：HGE1/0/29
	HGE1/0/30	IPP成员端口	Leaf 2：HGE1/0/30
	HGE1/0/31	IPP成员端口	Leaf 2：HGE1/0/31
	HGE1/0/32	IPP成员端口	Leaf 2：HGE1/0/32
	WGE1/0/55	RAGG 1000 1.1.1.1/30	Keepalive口-Leaf 2：WGE1/0/55
	WGE1/0/56	RAGG 1000 1.1.1.1/30	Keepalive口-Leaf 2：WGE1/0/56
	HGE1/0/25	172.16.2.154/30	Spine 1：HGE1/1/1
	HGE1/0/26	172.16.3.154/30	Spine 2：HGE1/1/1
	Loopback1	50.50.255.41/32	BGP route-id
Leaf 2	WGE1/0/1	DR成员端口	服务器Server1
	WGE1/0/2	DR成员端口	服务器Server2
	HGE1/0/29	IPP成员端口	Leaf 1：HGE1/0/29
	HGE1/0/30	IPP成员端口	Leaf 1：HGE1/0/30
	HGE1/0/31	IPP成员端口	Leaf 1：HGE1/0/31
	HGE1/0/32	IPP成员端口	Leaf 1：HGE1/0/32
	WGE1/0/55	RAGG 1000 1.1.1.2/30	Keepalive口-Leaf 1：WGE1/0/55
	WGE1/0/56	RAGG 1000 1.1.1.2/30	Keepalive口-Leaf 1：WGE1/0/56
	HGE1/0/25	172.16.2.158/30	Spine 1：HGE1/1/2
	HGE1/0/26	172.16.3.158/30	Spine 2：HGE1/1/2
	Loopback1	50.50.255.42/32	BGP route-id
Leaf 3	WGE1/0/1	单挂接口	服务器Server3
	WGE1/0/2	单挂接口	服务器Server4
	HGE1/0/29	IPP成员端口	Leaf 4：HGE1/0/29
	HGE1/0/30	IPP成员端口	Leaf 4：HGE1/0/30
	HGE1/0/31	IPP成员端口	Leaf 4：HGE1/0/31
	HGE1/0/32	IPP成员端口	Leaf 4：HGE1/0/32
	WGE1/0/55	RAGG 1000 1.1.1.1/30	Keepalive口-Leaf 1：WGE1/0/55
	WGE1/0/56	RAGG 1000 1.1.1.1/30	Keepalive口-Leaf 1：WGE1/0/56
	HGE1/0/25	172.16.2.82/30	Spine 1：HGE1/1/3
	HGE1/0/26	172.16.3.82/30	Spine 2：HGE1/1/3
	Loopback1	50.50.255.23/32	BGP route-id
Leaf 4	WGE1/0/1	单挂接口	服务器Server3
	WGE1/0/2	单挂接口	服务器Server4
	HGE1/0/29	IPP成员端口	Leaf 3：HGE1/0/29
	HGE1/0/30	IPP成员端口	Leaf 3：HGE1/0/30
	HGE1/0/29	IPP成员端口	Leaf 3：HGE1/0/31
	HGE1/0/30	IPP成员端口	Leaf 3：HGE1/0/32
	WGE1/0/55	RAGG 1000 1.1.1.2/30	Keepalive口-Leaf 1：WGE1/0/55
	WGE1/0/56	RAGG 1000 1.1.1.2/30	Keepalive口-Leaf 1：WGE1/0/56
	HGE1/0/25	172.16.2.86/30	Spine 1：HGE1/1/4
	HGE1/0/26	172.16.3.86/30	Spine 2：HGE1/1/4
	Loopback1	50.50.255.24/32	BGP route-id
Spine 1	HGE1/1/1	172.16.2.153/30	Leaf 1：HGE1/0/25
	HGE1/1/2	172.16.2.157/30	Leaf 2：HGE1/0/25
	HGE1/1/3	172.16.2.81/30	Leaf 3：HGE1/0/25
	HGE1/1/4	172.16.2.85/30	Leaf 4：HGE1/0/25
	Loopback1	50.50.255.1/32	BGP route-id
Spine 2	HGE1/1/1	172.16.3.153/30	Leaf 1：HGE1/0/26
	HGE1/1/2	172.16.3.157/30	Leaf 2：HGE1/0/26
	HGE1/1/3	172.16.3.81/30	Leaf 3：HGE1/0/26
	HGE1/1/4	172.16.3.85/30	Leaf 4：HGE1/0/26
	Loopback1	50.50.255.2/32	BGP route-id

1.2 流量互通模型介绍

流量互通模型有以下几种：

· 同组DRNI Leaf 服务器与服务器之间二层互通；

· 同组DRNI Leaf 服务器与服务器之间三层互通；

· 不同DRNI Leaf 服务器与服务器之间三层互通；

1.3 适用设备及使用版本

角色	设备	软件版本
Spine	S12500X-AF/S12500F-AF（本文以S12500X-AF为例）	不推荐
	S12500G-AF	版本验证中，请联系技术支持获取最新版本
	S9820-8C（本文以S9820-8C作Spine为例）	R6635版本
Leaf	S6800/S6860/S6900	不推荐
	S6812/S6813	版本开发中，请联系技术支持获取最新版本信息
	S6805/S6825/S6850/S9850（本文以S6850 作Leaf为例）	R6635版本
	S6890	不推荐
	S9820-64H	R6635版本

1.4 配置注意事项

请客户根据实际的业务需求，制定各级设备的收敛比。建议高速端口中，2个或4个端口用于IPL链路以满足同组Leaf下挂服务器东西向流量的转发需求，其余高速端口用作上行端口。普通速率端口连接服务器。如果收敛比不满足转发性能需求，可以采用不满挂服务器的方式。

对于S6805 & S6825 & S6850 & S9850、S9820-64H、S9820-8C设备，开启指定802.1p优先级的PFC功能后，设备会为PFC的各种门限设置一个缺省值，具体请参考表1-1、表1-2和表1-3。

此缺省值在一般的组网环境下是效果较好的参数组合，不建议用户自行调整。

表1-1 S6805 & S6825 & S6850 & S9850 PFC门限缺省值

PFC门限（右）接口类型（下）	Headroom缓存门限	动态反压帧触发门限	反压帧停止门限与触发门限间的偏移量	PFC预留门限
1GE/10GE	100	5	12	17
25GE	125	5	12	17
40GE	200	5	12	17
100GE	491	5	12	17

表1-2 S9820-64H PFC门限缺省值

PFC门限（右）接口类型（下）	Headroom缓存门限	动态反压帧触发门限	反压帧停止门限与触发门限间的偏移量	PFC预留门限
25GE	125	5	12	20
100GE	491	5	12	20

PFC门限（右）

接口类型（下）

Headroom缓存门限

动态反压帧触发门限

反压帧停止门限与触发门限间的偏移量

PFC预留门限

25GE

125

100GE

491

表1-3 S9820-8C PFC门限缺省值

PFC门限（右）接口类型（下）	Headroom缓存门限	动态反压帧触发门限	反压帧停止门限与触发门限间的偏移量	PFC预留门限
100GE	491	5	12	20
400GE	1000	5	12	20

PFC门限（右）

接口类型（下）

Headroom缓存门限

动态反压帧触发门限

反压帧停止门限与触发门限间的偏移量

PFC预留门限

100GE

491

400GE

1000

拥塞避免有两种配置方式，全局配置的WRED table方式和端口WRED方式，选择其中一种配置即可。两种配置方式区别如下：

· 全局配置的WRED table方式需要在系统视图下创建WRED表，并在表中配置WRED的各种参数，然后在接口上应用WRED表。WRED表中需要为所有队列配置参数，否则未配置的队列会应用到缺省值（缺省值较小，一般情况下不是合理配置）。应用同一WRED表的接口配置一致。

· 端口WRED方式是在端口上直接配置WRED的各种参数，并开启WRED功能。端口WRED方式可以只配置RoCE队列，不同接口可以配置不同的参数，使用更为灵活。

1.5 配置Leaf

1.5.1 配置概览

· 配置RoCE的全局配置

· 配置与Spine互联链路

· 配置与Spine互联链路的RoCE配置

请选择以下一项任务进行配置：

· 配置DRNI

请选择以下一项任务进行配置：

· 配置VLAN接口及网关，请选择以下一项任务进行配置：

¡ 配置VLAN接口及网关（VLAN双活网关方式）

¡ 配置VLAN接口及网关（VRRP网关方式）

本文以Leaf 1、Leaf 2的配置为例。Leaf 3、Leaf 4的配置仅体现单挂链路的配置，其他配置与Leaf 1、Leaf 2配置类似。

1.5.2 配置RoCE的全局配置

1. PFC全局配置和数据缓冲区配置

Leaf 1（S6850）	Leaf 2（S6850）	命令说明	注意事项
priority-flow-control poolID 0 headroom 131072	priority-flow-control poolID 0 headroom 131072	设置PFC全局headroom最大可用的cell资源	配置为允许的最大值
priority-flow-control deadlock cos 3 interval 10	priority-flow-control deadlock cos 3 interval 10	设置PFC死锁检查周期，RoCE报文所在队列	-
priority-flow-control deadlock precision high	priority-flow-control deadlock precision high	设置PFC死锁检测定时器的精度	配置为最高精度
buffer egress cell queue 3 shared ratio 100	buffer egress cell queue 3 shared ratio 100	RoCE队列出方向缓存调到最大	-
buffer egress cell queue 6 shared ratio 100	buffer egress cell queue 6 shared ratio 100	CNP队列出方向缓存调到最大	-
buffer apply	buffer apply	使Buffer配置生效	-

2. 配置全局WRED表（仅WRED table方式涉及）

3. 配置QoS优先级映射

接口配置PFC功能时，Leaf设备连接服务器的接口需要信任报文自带的802.1p优先级或DSCP优先级，Leaf和Spine互连的三层接口需要信任报文自带的DSCP优先级。

建议配置服务器发出的报文携带DSCP优先级并能根据DSCP值入队列，此时Leaf设备连接服务器的接口配置信任报文的DSCP优先级。如果服务器不支持携带DSCP优先级，Leaf设备连接服务器的接口配置信任报文自带的802.1p优先级并需配置DSCP和Dot1p映射关系（必须为所有报文涉及的DSCP配置映射关系）。

本节描述接口信任报文自带的802.1p优先级时，DSCP和Dot1p映射关系的配置方法。如果采用接口信任DSCP优先级的方式，则不需要配置本节内容。

Leaf 1（S6850）	Leaf 2（S6850）	命令说明	注意事项
qos map-table dot1p-lp import 0 export 0 import 1 export 1 import 2 export 2	qos map-table dot1p-lp import 0 export 0 import 1 export 1 import 2 export 2	调整dot1p-lp的队列映射	-
traffic classifier dot1p0 operator and	traffic classifier dot1p0 operator and	创建类，各规则之间为逻辑与的关系	如果下行口配置qos trust dscp，则不用配置此MQC
if-match service-dot1p 0	if-match service-dot1p 0	定义匹配外层VLAN Tag 802.1p优先级的规则	-
traffic classifier dot1p1 operator and	traffic classifier dot1p1 operator and	创建类，各规则之间为逻辑与的关系	-
if-match service-dot1p 1	if-match service-dot1p 1	定义匹配外层VLAN Tag 802.1p优先级的规则	-
traffic classifier dot1p2 operator and	traffic classifier dot1p2 operator and	创建类，各规则之间为逻辑与的关系	-
if-match service-dot1p 2	if-match service-dot1p 2	定义匹配外层VLAN Tag 802.1p优先级的规则	-
traffic classifier dot1p3 operator and	traffic classifier dot1p3 operator and	创建类，各规则之间为逻辑与的关系	-
if-match service-dot1p 3	if-match service-dot1p 3	定义匹配外层VLAN Tag 802.1p优先级的规则	-
traffic classifier dot1p4 operator and	traffic classifier dot1p4 operator and	创建类，各规则之间为逻辑与的关系	-
if-match service-dot1p 4	if-match service-dot1p 4	定义匹配外层VLAN Tag 802.1p优先级的规则	-
traffic classifier dot1p5 operator and	traffic classifier dot1p5 operator and	创建类，各规则之间为逻辑与的关系	-
if-match service-dot1p 5	if-match service-dot1p 5	定义匹配外层VLAN Tag 802.1p优先级的规则	-
traffic classifier dot1p5 operator and	traffic classifier dot1p5 operator and	创建类，各规则之间为逻辑与的关系	-
if-match service-dot1p 6	if-match service-dot1p 6	定义匹配外层VLAN Tag 802.1p优先级的规则	-
traffic classifier dot1p7 operator and	traffic classifier dot1p7 operator and	创建类，各规则之间为逻辑与的关系	-
if-match service-dot1p 7	if-match service-dot1p 7	定义匹配外层VLAN Tag 802.1p优先级的规则	-
traffic classifier dscp0 operator and	traffic classifier dscp0 operator and	创建类，各规则之间为逻辑与的关系	-
if-match dscp default	if-match dscp default	定义匹配外层VLAN Tag 802.1p优先级的规则	-
traffic classifier dscp10 operator and	traffic classifier dscp10 operator and	创建类，各规则之间为逻辑与的关系	-
if-match dscp af11	if-match dscp af11	定义匹配DSCP的规则	-
traffic classifier dscp18 operator and	traffic classifier dscp18 operator and	创建类，各规则之间为逻辑与的关系	-
if-match dscp af21	if-match dscp af21	定义匹配DSCP的规则	-
traffic classifier dscp18 operator and	traffic classifier dscp18 operator and	创建类，各规则之间为逻辑与的关系	-
if-match dscp af31	if-match dscp af31	定义匹配DSCP的规则	-
traffic classifier dscp34 operator and	traffic classifier dscp34 operator and	创建类，各规则之间为逻辑与的关系	-
if-match dscp af41	if-match dscp af41	定义匹配DSCP的规则	-
traffic classifier dscp40 operator and	traffic classifier dscp40 operator and	创建类，各规则之间为逻辑与的关系	-
if-match dscp cs5	if-match dscp cs5	定义匹配DSCP的规则	-
traffic classifier dscp48 operator and	traffic classifier dscp48 operator and	创建类，各规则之间为逻辑与的关系	-
if-match dscp cs6	if-match dscp cs6	定义匹配DSCP的规则	-
traffic classifier dscp56 operator and	traffic classifier dscp56 operator and	创建类，各规则之间为逻辑与的关系	-
if-match dscp cs7	if-match dscp cs7	定义匹配DSCP的规则	-
traffic behavior dot1p0	traffic behavior dot1p0	创建流行为	-
remark dot1p 0	remark dot1p 0	重新标记报文的802.1p优先级值	-
traffic behavior dot1p1	traffic behavior dot1p1	创建流行为	-
remark dot1p 1	remark dot1p 1	重新标记报文的802.1p优先级值	-
traffic behavior dot1p2	traffic behavior dot1p2	创建流行为	-
remark dot1p 2	remark dot1p 2	重新标记报文的802.1p优先级值	-
traffic behavior dot1p3	traffic behavior dot1p3	创建流行为	-
remark dot1p 3	remark dot1p 3	重新标记报文的802.1p优先级值	-
traffic behavior dot1p4	traffic behavior dot1p4	创建流行为	-
remark dot1p 4	remark dot1p 4	重新标记报文的802.1p优先级值	-
traffic behavior dot1p5	traffic behavior dot1p5	创建流行为	-
remark dot1p 5	remark dot1p 5	重新标记报文的802.1p优先级值	-
traffic behavior dot1p5	traffic behavior dot1p5	创建流行为	-
remark dot1p 6	remark dot1p 6	重新标记报文的802.1p优先级值	-
traffic behavior dot1p7	traffic behavior dot1p7	创建流行为	-
remark dot1p 7	remark dot1p 7	重新标记报文的802.1p优先级值	-
traffic behavior dscp-0	traffic behavior dscp-0	创建流行为	-
remark dscp default	remark dscp default	重新标记报文的DSCP值	-
traffic behavior dscp-af11	traffic behavior dscp-af11	创建流行为	-
remark dscp af11	remark dscp af11	重新标记报文的DSCP值	-
traffic behavior dscp-af21	traffic behavior dscp-af21	创建流行为	-
remark dscp af21	remark dscp af21	重新标记报文的DSCP值	-
traffic behavior dscp-af31	traffic behavior dscp-af31	创建流行为	-
remark dscp af31	remark dscp af31	重新标记报文的DSCP值	-
traffic behavior dscp-af41	traffic behavior dscp-af41	创建流行为	-
remark dscp af41	remark dscp af41	重新标记报文的DSCP值	-
traffic behavior dscp-cs5	traffic behavior dscp-cs5	创建流行为	-
remark dscp cs5	remark dscp cs5	重新标记报文的DSCP值	-
traffic behavior dscp-cs6	traffic behavior dscp-cs6	创建流行为	-
remark dscp cs6	remark dscp cs6	重新标记报文的DSCP值	-
traffic behavior dscp-cs7	traffic behavior dscp-cs7	创建流行为	-
remark dscp cs7	remark dscp cs7	重新标记报文的DSCP值	-
qos policy dot1p-dscp	qos policy dot1p-dscp	创建通用类型的QoS策略	-
classifier dot1p0 behavior dscp-0	classifier dot1p0 behavior dscp-0	为类指定流行为	-
classifier dot1p3 behavior dscp-af31	classifier dot1p3 behavior dscp-af31	为类指定流行为	-
classifier dot1p1 behavior dscp-af11	classifier dot1p1 behavior dscp-af11	为类指定流行为	-
classifier dot1p2 behavior dscp-af21	classifier dot1p2 behavior dscp-af21	为类指定流行为	-
classifier dot1p4 behavior dscp-af41	classifier dot1p4 behavior dscp-af41	为类指定流行为	-
classifier dot1p5 behavior dscp-cs5	classifier dot1p5 behavior dscp-cs5	为类指定流行为	-
classifier dot1p5 behavior dscp-cs6	classifier dot1p5 behavior dscp-cs6	为类指定流行为	-
classifier dot1p7 behavior dscp-cs7	classifier dot1p7 behavior dscp-cs7	为类指定流行为	-
qos policy dscptodot1p	qos policy dscptodot1p	创建通用类型的QoS策略	-
classifier dscp0 behavior dot1p0	classifier dscp0 behavior dot1p0	为类指定流行为	-
classifier dscp26 behavior dot1p3	classifier dscp26 behavior dot1p3	为类指定流行为	-
classifier dscp10 behavior dot1p1	classifier dscp10 behavior dot1p1	为类指定流行为	-
classifier dscp18 behavior dot1p2	classifier dscp18 behavior dot1p2	为类指定流行为	-
classifier dscp34 behavior dot1p4	classifier dscp34 behavior dot1p4	为类指定流行为	-
classifier dscp40 behavior dot1p5	classifier dscp40 behavior dot1p5	为类指定流行为	-
classifier dscp48 behavior dot1p5	classifier dscp48 behavior dot1p5	为类指定流行为	-
classifier dscp56 behavior dot1p7	classifier dscp56 behavior dot1p7	为类指定流行为	-

1.5.3 配置与Spine互联链路

Leaf 1（S6850）	Leaf 2（S6850）	命令说明	注意事项
monitor-link group 1	monitor-link group 1	配置monitor-group	全局配置
interface HundredGigE1/0/25	interface HundredGigE1/0/25	配置与Spine 1互联接口	-
port link-mode route	port link-mode route	将以太网接口切换到三层工作模式	-
ip address 172.16.2.154 255.255.255.252	ip address 172.16.2.158 255.255.255.252	配置IP	-
port monitor-link group 1 uplink	port monitor-link group 1 uplink	配置端口为monitor-link上行口	-
interface HundredGigE1/0/26	interface HundredGigE1/0/26	配置与Spine 1互联接口	-
port link-mode route	port link-mode route	将以太网接口切换到三层工作模式	-
ip address 172.16.3.154 255.255.255.252	ip address 172.16.3.158 255.255.255.252	配置IP	-
port monitor-link group 1 uplink	port monitor-link group 1 uplink	配置端口为monitor-link上行口	-

1.5.4 配置与Spine互联链路的RoCE配置

1. WRED table方式

2. 端口WRED方式

1.5.5 配置DRNI

Leaf 1（S6850）	Leaf 2（S6850）	命令说明	注意事项
interface Bridge-Aggregation1000	interface Bridge-Aggregation1000	创建聚合1000作为IPP口	-
link-aggregation mode dynamic	link-aggregation mode dynamic	配置聚合组工作在动态聚合模式下，同时开启LACP协议	-
quit	quit	-	-
interface range HundredGigE1/0/29 to HundredGigE1/0/32	interface range HundredGigE1/0/29 to HundredGigE1/0/32	进入接口批量配置视图	-
port link-aggregation group 1000	port link-aggregation group 1000	将接口加入二层聚合组 1000	-
quit	quit	-	-
interface Bridge-Aggregation1000	interface Bridge-Aggregation1000	-	-
port drni intra-portal-port 1	port drni intra-portal-port 1	配置该接口为IPP口	-
quit	quit	-	-
ip vpn-instance DRNIKeepalive	ip vpn-instance DRNIKeepalive	配置VPN用于DRNI Keepalive端口	-
quit	quit	quit	-
interface Route-Aggregation1000	interface Route-Aggregation1000	创建三层聚合口1000作为Keepalive端口	-
ip binding vpn-instance DRNIKeepalive	ip binding vpn-instance DRNIKeepalive	端口绑定VPN实例	-
ip address 1.1.1.1 255.255.255.252	ip address 1.1.1.2 255.255.255.252	配置Keepalive接口地址	-
link-aggregation mode dynamic	link-aggregation mode dynamic	配置动态聚合模式	-
quit	quit	-	-
interface Twenty-FiveGigE1/0/55	interface Twenty-FiveGigE1/0/55	配置该接口作为Keepalive接口的成员口	-
port link-mode route	port link-mode route	配置端口为路由口	-
port link-aggregation group 1000	port link-aggregation group 1000	将端口加入三层聚合组1000	-
quit	quit	-	-
interface Twenty-FiveGigE1/0/56	interface Twenty-FiveGigE1/0/56	配置该接口作为Keepalive接口的成员口	-
port link-mode route	port link-mode route	配置端口为路由口	-
port link-aggregation group 1000	port link-aggregation group 1000	将端口加入三层聚合组1000	-
quit	quit	-	-
drni role priority 50	drni role priority 100	指定DR设备的角色优先级	全局配置
drni system-mac 2001-0000-0018	drni system-mac 2001-0000-0018	配置DR系统MAC地址	同一分布式聚合组中，所有DR设备的系统MAC地址必须相同
drni system-number 1	drni system-number 2	配置DR系统编号	DR系统中不同DR设备的系统编号必须不同
drni system-priority 110	drni system-priority 110	（可选）配置DR系统优先级	为了组成分布式聚合组，同一分布式聚合组中，所有DR设备的系统优先级必须相同缺省情况下，DR系统优先级为32768该数值越小，优先级越高。
drni keepalive ip destination 1.1.1.2 source 1.1.1.1 vpn-instance DRNIKeepalive	drni keepalive ip destination 1.1.1.1 source 1.1.1.2 vpn-instance DRNIKeepalive	配置Keepalive报文的目的IP地址和源IP地址	若IP地址所在的接口为非DRNI保留接口，则配置将接口配置为保留接口
drni mad exclude interface LoopBack1	drni mad exclude interface LoopBack1	配置接口在DR系统分裂后不处于DRNI MAD DOWN状态	在Loopback1端口配置
drni mad exclude interface Route-Aggregation1000	drni mad exclude interface Route-Aggregation1000	配置接口在DR系统分裂后不处于DRNI MAD DOWN状态	-
drni mad exclude interface Twenty-FiveGigE1/0/55	drni mad exclude interface Twenty-FiveGigE1/0/55	配置接口在DR系统分裂后不处于DRNI MAD DOWN状态	在keepalive端口配置
drni mad exclude interface Twenty-FiveGigE1/0/56	drni mad exclude interface Twenty-FiveGigE1/0/56	配置接口在DR系统分裂后不处于DRNI MAD DOWN状态	在keepalive端口配置
drni mad exclude interface M-GigabitEthernet0/0/0	drni mad exclude interface M-GigabitEthernet0/0/0	配置接口在DR系统分裂后不处于DRNI MAD DOWN状态	在管理口配置

1.5.6 配置IPL链路的RoCE配置

1. WRED table方式

Leaf 1（S6850）	Leaf 2（S6850）	命令说明	注意事项
interface range HundredGigE1/0/29 to HundredGigE1/0/32	interface range HundredGigE1/0/29 to HundredGigE1/0/32	配置与Spine 1互联接口	-
qos trust dscp	qos trust dscp	端口QoS信任DSCP	-
qos wfq byte-count	qos wfq byte-count	设置WFQ队列调度	-
qos wfq be group 1 byte-count 15	qos wfq be group 1 byte-count 15	设置0队列调度权重	根据实际业务情况配置调度权重
qos wfq af1 group 1 byte-count 2	qos wfq af1 group 1 byte-count 2	设置1队列调度权重	根据实际业务情况配置调度权重
qos wfq af2 group 1 byte-count 2	qos wfq af2 group 1 byte-count 2	设置2队列调度权重	根据实际业务情况配置调度权重
qos wfq af3 group 1 byte-count 60	qos wfq af3 group 1 byte-count 60	设置3队列调度权重	根据实际业务情况配置调度权重本文以配置无损队列和其他队列权重占比为4:1为例
qos wfq cs6 group sp	qos wfq cs6 group sp	设置6队列调度优先级为sp	根据实际业务情况配置调度权重
qos wfq cs7 group sp	qos wfq cs7 group sp	设置7队列调度优先级为sp	根据实际业务情况配置调度权重
qos wred apply 100G-WRED-Template	qos wred apply 100G-WRED-Template	端口使能100G的WRED表	-
qos gts queue 6 cir 50000000 cbs 16000000	qos gts queue 6 cir 50000000 cbs 16000000	CNP队列限速50G	-
quit	quit	-	-

2. 端口WRED方式

Leaf 1（S6850）	Leaf 2（S6850）	命令说明	注意事项
interface range HundredGigE1/0/29 to HundredGigE1/0/32	interface range HundredGigE1/0/29 to HundredGigE1/0/32	配置与Spine 1互联接口	-
qos trust dscp	qos trust dscp	端口QoS信任DSCP	-
qos wfq byte-count	qos wfq byte-count	设置WFQ队列调度	-
qos wfq be group 1 byte-count 15	qos wfq be group 1 byte-count 15	设置0队列调度权重	根据实际业务情况配置调度权重
qos wfq af1 group 1 byte-count 2	qos wfq af1 group 1 byte-count 2	设置1队列调度权重	根据实际业务情况配置调度权重
qos wfq af2 group 1 byte-count 2	qos wfq af2 group 1 byte-count 2	设置2队列调度权重	根据实际业务情况配置调度权重
qos wfq af3 group 1 byte-count 60	qos wfq af3 group 1 byte-count 60	设置3队列调度权重	根据实际业务情况配置调度权重本文以配置无损队列和其他队列权重占比为4:1为例
qos wfq cs6 group sp	qos wfq cs6 group sp	设置6队列调度优先级为sp	根据实际业务情况配置调度权重
qos wfq cs7 group sp	qos wfq cs7 group sp	设置7队列调度优先级为sp	根据实际业务情况配置调度权重
qos wred queue 3 drop-level 0 low-limit 1000 high-limit 2000 discard-probability 20 qos wred queue 3 drop-level 1 low-limit 1300 high-limit 2100 discard-probability 20 qos wred queue 3 drop-level 2 low-limit 1300 high-limit 2100 discard-probability 20	qos wred queue 3 drop-level 0 low-limit 1000 high-limit 2000 discard-probability 20 qos wred queue 3 drop-level 1 low-limit 1300 high-limit 2100 discard-probability 20 qos wred queue 3 drop-level 2 low-limit 1300 high-limit 2100 discard-probability 20	设置RoCE队列的ECN水线值	RoCE队列的low-limit和high-limit配置较小值，其他队列配置较大值
qos wred queue 3 weighting-constant 0	qos wred queue 3 weighting-constant 0	设置RoCE队列平均队列长度指数	-
qos wred queue 3 ecn	qos wred queue 3 ecn	开启RoCE队列ECN	-
qos wred queue 6 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 qos wred queue 6 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 qos wred queue 6 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20	qos wred queue 6 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 qos wred queue 6 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 qos wred queue 6 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20	设置CNP队列的ECN水线值	-
qos wred queue 6 ecn	qos wred queue 6 ecn	开启CNP队列ECN	-
qos gts queue 6 cir 50000000 cbs 16000000	qos gts queue 6 cir 50000000 cbs 16000000	CNP队列限速50G	-
quit	quit	-	-

1.5.7 配置与服务器互联链路

1. DR接入链路

本节以Leaf 1、Leaf 2 Twenty-FiveGigE1/0/1端口的配置为例，其他端口配置类似，具体配置略。

Leaf 1（S6850）	Leaf 2（S6850）	命令说明	注意事项
interface bridge-aggregation 100	interface bridge-aggregation 100	创建聚合组100	-
link-aggregation mode dynamic	link-aggregation mode dynamic	设置聚合模式为动态聚合	-
port drni group 1	port drni group 1	配置接口为DR口1	-
quit	quit	-	-
interface Twenty-FiveGigE1/0/1	interface Twenty-FiveGigE1/0/1	配置与服务器互联端口	-
port link-aggregation group 100	port link-aggregation group 100	将物理口加入二层聚合组100中	-
broadcast-suppression 1	broadcast-suppression 1	设置端口广播抑制	-
multicast-suppression 1	multicast-suppression 1	设置端口组播抑制	-
stp edged-port	stp edged-port	配置端口为边缘端口	-
port monitor-link group 1 downlink	port monitor-link group 1 downlink	配置端口为monitor-link的下行口	-
quit	quit	-	-
interface bridge-aggregation 100	interface bridge-aggregation 100	-	-
port link-type trunk	port link-type trunk	配置端口的链路类型为Trunk类型	-
undo port trunk permit vlan 1	undo port trunk permit vlan 1	配置Trunk端口不允许VLAN 1的报文通过	-
port trunk permit vlan 1100 to 1500	port trunk permit vlan 1100 to 1500	配置Trunk端口允许通过的VLAN为VLAN 1100~1500	-
quit	quit	-	-

2. 单挂链路

Leaf 3（S6850）	Leaf 3（S6850）	命令说明	注意事项
interface range Twenty-FiveGigE1/0/1 Twenty-FiveGigE1/0/2	interface range Twenty-FiveGigE1/0/1 Twenty-FiveGigE1/0/2	配置与服务器互联端口	-
port link-type trunk	port link-type trunk	配置端口的链路类型为Trunk类型	-
undo port trunk permit vlan 1	undo port trunk permit vlan 1	配置Trunk端口不允许VLAN 1的报文通过	-
port trunk permit vlan 1100 to 1500	port trunk permit vlan 1100 to 1500	配置Trunk端口允许通过的VLAN为VLAN 1100~1500	-
broadcast-suppression 1	broadcast-suppression 1	设置端口广播抑制	-
multicast-suppression 1	multicast-suppression 1	设置端口组播抑制	-
stp edged-port	stp edged-port	配置端口为边缘端口	-
port monitor-link group 1 downlink	port monitor-link group 1 downlink	配置端口为monitor-link的下行口	-
quit	quit	-	-
interface bridge-aggregation 100	interface bridge-aggregation 100	创建聚合组100	创建一个空DR口用于规避单挂链路的使用限制单挂链路的使用限制请参考“DRNI组网推荐方案”中的“单挂（即服务器通过非DR口接入）接入使用限制”
link-aggregation mode dynamic	link-aggregation mode dynamic	设置聚合模式为动态聚合	-
port drni group 1	port drni group 1	配置接口为DR口1	-
port link-type trunk	port link-type trunk	配置端口的链路类型为Trunk类型	-
undo port trunk permit vlan 1	undo port trunk permit vlan 1	配置Trunk端口不允许VLAN 1的报文通过	-
port trunk permit vlan 1100 to 1500	port trunk permit vlan 1100 to 1500	配置Trunk端口允许通过的VLAN为VLAN 1100~1500	-
quit	quit	-	-

1.5.8 配置与服务器互联链路的RoCE配置

1. WRED table方式

2. 端口WRED方式

1.5.9 配置underlay BGP实例

Leaf 1（S6850）	Leaf 2（S6850）	命令说明	注意事项
bgp 64636	bgp 64636	启动BGP实例	-
router-id 50.50.255.41	router-id 50.50.255.42	为指定的BGP实例配置BGP路由器的Router ID	如果要在BGP实例下运行BGP协议，则必须为BGP实例指定Router ID。如果没有指定Router ID，则缺省使用全局Router ID
group Spine external	group Spine external	创建EBGP对等体组	-
peer Spine as-number 64637	peer Spine as-number 64637	指定对等体的AS号	-
peer 172.16.2.153 group Spine	peer 172.16.2.157 group Spine	向对等体组中添加指定的对等体，即Spine	-
peer 172.16.3.153 group Spine	peer 172.16.3.157 group Spine	向对等体组中添加指定的对等体，即Spine	-
address-family ipv4 unicast	address-family ipv4 unicast	进入IPv4地址族	-
balance 32	balance 32	配置BGP负载分担的路由条数
network 55.50.138.0 255.255.255.128	network 55.50.138.0 255.255.255.128	BGP发布指定网段路由
network 55.50.153.128 255.255.255.128	network 55.50.153.128 255.255.255.128	BGP发布指定网段路由	-
network 55.50.250.0 255.255.255.192	network 55.50.250.0 255.255.255.192	BGP发布指定网段路由	-
network 55.50.255.41 255.255.255.255	network 55.50.255.41 255.255.255.255	BGP发布指定网段路由	-
peer Spine enable	peer Spine enable	允许本地路由器与指定对等体交换IPv4单播路由信息	-

1.5.10 配置VLAN接口及网关（VLAN双活网关方式）

Leaf 1（S6850）	Leaf 2（S6850）	命令说明	注意事项
interface Vlan-interface1121	interface Vlan-interface1121	配置VLAN接口	-
ip address 55.50.138.124 255.255.255.128	ip address 55.50.138.124 255.255.255.128	配置相同的IP地址	-
mac-address 0001-0001-0001	mac-address 0001-0001-0001	配置相同的MAC地址
dhcp select relay	dhcp select relay	配置接口工作在DHCP中继模式	-
dhcp relay server-address 55.50.128.12	dhcp relay server-address 55.50.128.12	指定DHCP服务器的地址	-
quit	quit	-	-
drni mad exclude interface Vlan-interface 1121	drni mad exclude interface Vlan-interface 1121	配置接口在DR系统分裂后不处于DRNI MAD DOWN状态	在下行口VLAN接口配置

1.5.11 配置VLAN接口及网关（VRRP网关方式）

Leaf 1（S6850）	Leaf 2（S6850）	命令说明	注意事项
interface Vlan-interface1121	interface Vlan-interface1121	配置VLAN接口	-
ip address 55.50.138.124 255.255.255.128	ip address 55.50.138.123 255.255.255.128	配置IP地址	-
vrrp vrid 1 virtual-ip 55.50.138.125	vrrp vrid 1 virtual-ip 55.50.138.125	配置VRRP虚IP
vrrp vrid 1 priority 150	vrrp vrid 1 priority 120	配置VRRP优先级
dhcp select relay	dhcp select relay	配置接口工作在DHCP中继模式	-
dhcp relay server-address 55.50.128.12	dhcp relay server-address 55.50.128.12	指定DHCP服务器的地址	-
quit	quit	-	-
drni mad exclude interface Vlan-interface 1121	drni mad exclude interface Vlan-interface 1121	配置接口在DR系统分裂后不处于DRNI MAD DOWN状态	在下行口VLAN接口配置

1.6 配置Spine

1.6.1 配置概览

请选择以下一项任务进行配置：

· 配置路由策略将从Leaf收到的路由的AS替换为本地AS

· 配置underlay BGP实例

1.6.2 配置RoCE的全局配置

1. PFC全局配置和数据缓冲区配置

Spine 1	Spine 2	命令说明	注意事项
priority-flow-control poolID 0 headroom 130000	priority-flow-control poolID 0 headroom 130000	设置PFC全局headroom最大可用的cell资源	配置为允许的最大值
priority-flow-control deadlock cos 3 interval 10	priority-flow-control deadlock cos 3 interval 10	设置PFC死锁检查周期，RoCE报文所在队列	-
priority-flow-control deadlock precision high	priority-flow-control deadlock precision high	设置PFC死锁检测定时器的精度	配置为最高精度
buffer egress cell queue 3 shared ratio 100	buffer egress cell queue 3 shared ratio 100	RoCE队列出方向缓存调到最大	-
buffer egress cell queue 6 shared ratio 100	buffer egress cell queue 6 shared ratio 100	CNP队列出方向缓存调到最大	-
buffer apply	buffer apply	使Buffer配置生效	-

2. 配置全局WRED表（仅WRED table方式涉及）

Spine 1	Spine 2	命令说明	注意事项
qos wred queue table 100G-WRED-Template	qos wred queue table 100G-WRED-Template	配置WRED表	-
queue 0 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 queue 0 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 queue 0 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20	queue 0 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 queue 0 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 queue 0 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20	配置基于队列0的WRED表的内容	-
queue 1 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 queue 1 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 queue 1 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20	queue 1 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 queue 1 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 queue 1 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20	配置基于队列1的WRED表的内容	-
queue 2 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 queue 2 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 queue 2 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20	queue 2 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 queue 2 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 queue 2 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20	配置基于队列2的WRED表的内容	-
queue 3 drop-level 0 low-limit 1000 high-limit 2000 discard-probability 20 queue 3 drop-level 1 low-limit 1000 high-limit 2000 discard-probability 20 queue 3 drop-level 2 low-limit 1000 high-limit 2000 discard-probability 20 queue 3 weighting-constant 0 queue 3 ecn	queue 3 drop-level 0 low-limit 1000 high-limit 2000 discard-probability 20 queue 3 drop-level 1 low-limit 1000 high-limit 2000 discard-probability 20 queue 3 drop-level 2 low-limit 1000 high-limit 2000 discard-probability 20 queue 3 weighting-constant 0 queue 3 ecn	配置基于队列3的WRED表的内容	RoCE队列的low-limit和high-limit配置较小值，其他队列配置较大值
queue 4 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 queue 4 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 queue 4 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20	queue 4 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 queue 4 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 queue 4 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20	配置基于队列4的WRED表的内容	-
queue 5 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 queue 5 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 queue 5 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20	queue 5 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 queue 5 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 queue 5 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20	配置基于队列5的WRED表的内容	-
queue 6 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 queue 6 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 queue 6 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20 queue 6 ecn	queue 6 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 queue 6 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 queue 6 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20 queue 6 ecn	配置基于队列6的WRED表的内容	-
queue 7 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 queue 7 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 queue 7 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20	queue 7 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20 queue 7 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20 queue 7 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20	配置基于队列7的WRED表的内容	-

1.6.3 配置与Leaf的互联链路

Spine 1	Spine 2	命令说明	配置目的
interface HundredGigE1/1/1	interface HundredGigE1/1/1	进入接口视图	配置与Leaf互联链路
port link-mode route	port link-mode route	将以太网接口切换到三层工作模式	-
ip address 172.16.2.153 255.255.255.252	ip address 172.16.3.153 255.255.255.252	配置IP	-
interface HundredGigE1/1/2	interface HundredGigE1/1/2	进入接口视图	配置与Leaf互联链路
port link-mode route	port link-mode route	将以太网接口切换到三层工作模式	-
ip address 172.16.2.157 255.255.255.252	ip address 172.16.3.157 255.255.255.252	配置IP	-
interface HundredGigE1/1/3	interface HundredGigE1/1/3	进入接口视图	配置与Leaf互联链路
port link-mode route	port link-mode route	将以太网接口切换到三层工作模式	-
ip address 172.16.2.81 255.255.255.252	ip address 172.16.3.81 255.255.255.252	配置IP	-
interface HundredGigE1/1/4	interface HundredGigE1/1/4	进入接口视图	配置与Leaf互联链路
port link-mode route	port link-mode route	将以太网接口切换到三层工作模式	-
ip address 172.16.2.85 255.255.255.252	ip address 172.16.3.85 255.255.255.252	配置IP	-

1.6.4 配置与Leaf互联链路的RoCE配置

1. WRED table方式

2. 端口WRED方式

1.6.5 配置路由策略将从Leaf收到的路由的AS替换为本地AS

Spine设备配置路由策略，将从Leaf收到的路由的AS替换为本地AS，否则Leaf设备无法学习其他Leaf发布的路由（设备收到BGP邻居发布的路由会检查AS_PATH属性，如果路由的AS_PATH中包含自身AS号，则不会学习该路由）。

Spine1	Spine2	命令说明	注意事项
ip as-path leaf_aspath permit 64636	ip as-path leaf_aspath permit 64636	配置一个AS路径过滤列表	-
route-policy leaf_aspath_out permit node 10	route-policy leaf_aspath_out permit node 10	配置路由策略leaf_aspath_out的node 10	-
if-match as-path leaf_aspath	if-match as-path leaf_aspath	通过AS路径过滤列表匹配路由	-
apply as-path 64637 replace	apply as-path 64637 replace	配置BGP路由信息的AS_PATH属性，替换原有AS号	-
route-policy leaf_aspath_out permit node 1000	route-policy leaf_aspath_out permit node 1000	配置路由策略leaf_aspath_out的node 1000	-

1.6.6 配置underlay BGP实例

Spine1	Spine2	命令说明	注意事项
bgp 64637	bgp 64637	启动BGP实例	-
router-id 50.50.255.1	router-id 50.50.255.2	为指定的BGP实例配置BGP路由器的Router ID	如果要在BGP实例下运行BGP协议，则必须为BGP实例指定Router ID，如果没有指定Router ID，则缺省使用全局Router ID
group Leaf external	group Leaf external	创建EBGP对等体组	-
peer Leaf as-number 64636	peer Leaf as-number 64636	指定对等体组的AS号	-
peer 172.16.2.154 group Leaf	peer 172.16.3.154 group Leaf	向对等体组中添加指定的对等体，即Leaf	-
peer 172.16.2.158 group Leaf	peer 172.16.3.158 group Leaf	向对等体组中添加指定的对等体，即Leaf	-
peer 172.16.2.82 group Leaf	peer 172.16.3.82 group Leaf	向对等体组中添加指定的对等体，即Leaf	-
peer 172.16.2.86 group Leaf	peer 172.16.3.86 group Leaf	向对等体组中添加指定的对等体，即Leaf	-
address-family ipv4 unicast	address-family ipv4 unicast	进入IPv4地址族	-
balance 32	balance 32	配置BGP负载分担的路由条数	-
peer Leaf enable	peer Leaf enable	允许本地路由器与指定对等体交换IPv4单播路由信息	-
peer Leaf route-policy leaf_aspath_out export	peer Leaf route-policy leaf_aspath_out export	为IPv4对等体设置基于路由策略的路由修改下一跳策略	-

1.7 命令增删对流量的影响

修改Leaf或Spine数据缓冲区和PFC的配置可能引起丢包，例如实验室环境测试S6850设备R6635版本丢包情况如表1-4所示，现网环境丢包情况与组网规模和配置有关，请以具体情况为准。

表1-4 命令增删对流量的影响描述表

命令	命令说明	丢包情况
buffer apply	使数据缓冲区的配置生效	单条流丢480ms，整机丢秒级
priority-flow-control no-drop dot1p 3	使能/去使能端口PFC优先级	丢包30ms左右
priority-flow-control dot1p 5 headroom 125	修改PFC的headroom值	丢包10ms内
priority-flow-control dot1p 5 reserved-buffer 17	修改PFC的reserved-buffer值	丢包10ms内
priority-flow-control dot1p 5 ingress-buffer dynamic 5	修改PFC入方向门限dynamic值	丢包10ms内
priority-flow-control dot1p 5 ingress-threshold-offset 12	修改PFC入方向反压帧停止门限与触发门限间的偏移量	丢包10ms内
undo stp edged-port	端口视图取消端口为边缘端口	对应接口学习的mac会删除，二层流会广播
qos wfq byte-count	端口配置WFQ队列调度	丢包约40ms
qos wfq af3 group 1 byte-count 50	端口配置3队列调度权重	丢包约30ms
qos map-table import 1 export 1	修改设备qos-map对应表	不丢包
qos wred apply 100G-WRED-Template	端口应用WRED模板	不丢包
queue 3 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20	修改ECN的水线值及丢弃概率	不丢包
queue 5 weighting-constant 0	修改WRED计算平均队列长度的指数	不丢包
qos gts queue 3 cir 4000000 cbs 16000000	配置GTS限速	不丢包
stp edged-port	配置端口为边缘端口	不丢包
priority-flow-control enable	端口使能PFC	不丢包
priority-flow-control deadlock enable	端口配置PFC死锁	不丢包
buffer threshold alarm	全局配置buffer告警	不丢包
配置mqc，动作为accounting	配置MQC，动作为accounting	不丢包
配置端口入方向MQC，匹配dot1p，remark dscp	端口下发入方向MQC	不丢包
配置端口出方向MQC，匹配dscp，remark dot1p	端口下发出方向MQC	不丢包
priority-flow-control poolID 0 headroom 9928	全局配置PFC的headroom值	不丢包
dldp enable	端口开启DLDP功能	不丢包
unicast-suppression 1	端口使能/去使能未知单播抑制	不丢包
broadcast-suppression	端口使能/去使能广播抑制	不丢包
multicast-suppression	端口使能/去使能组播抑制	不丢包
stp root-protection	端口开启/关闭根保护功能	不丢包
grpc相关配置	全局配置GRPC相关配置	不丢包

1.8 流量模型

编号	类型	流量方向	流量路径	仿真方式	流量大小	说明
1	单播/L2	同组DRNI Leaf东西	DR接入：Server1-Leaf1/Leaf2-Server2 单挂：Server3-Leaf3- Leaf4-Server4	测试仪	轻载/拥塞	Server1与server2之间二层互通；
2	单播/L2	同组DRNI Leaf东西	DR接入：Server2-Leaf2/Leaf1-Server1 单挂：Server4-Leaf4 –Leaf3-Server3	测试仪	轻载/拥塞	Server2与server1之间二层互通；
3	已知单播/IPV4	同组DRNI Leaf东西	DR接入：Server1-Leaf1/Leaf2-Server2 单挂：Server3-Leaf3 –Leaf4-Server4	测试仪	轻载/拥塞	Server1与server2之间三层互通；
4	已知单播/IPV4	同组DRNI Leaf东西	DR接入：Server2-Leaf2/Leaf1-Server1 单挂：Server4-Leaf4 –Leaf3-Server3	测试仪	轻载/拥塞	Server2与server1之间三层互通；
5	已知单播/IPV4	不同DRNI Leaf东西	Server1-Leaf1/Leaf2-Spine 1/Spine 2-Leaf3-Server3	测试仪	轻载/拥塞	Server1与server3之间三层互通；
6	已知单播/IPV4	不同DRNI Leaf东西	Server3-Leaf3-Spine 1/Spine 2-Leaf1/Leaf2-Server1	测试仪	轻载/拥塞	Server1与server3之间三层互通；

1.9 收敛时间测试

1.9.1 故障测试

表1-5 链路故障测试情况表

设备	故障类型	流量中断时间	故障类型	流量中断时间
Leaf	单上行链路故障	420ms	单上行链路恢复	0ms
	Leaf双上行链路故障	330ms	Leaf双上行链路恢复	0ms
	下行单挂故障	120ms	下行单挂恢复	0ms
	IPL链路故障（备设备被mad down）	740ms	IPL链路故障恢复	0ms
	IPL成员口故障	10ms	IPL成员口恢复	0ms
	Keepalive链路故障	0ms	Keepalive链路故障恢复	0ms
	DR主整机重启（重启时）	170ms	DR主整机重启（恢复时）	0ms（若重新选举则丢包）
	DR备整机重启（重启时）	170ms	DR备整机重启（恢复时）	0ms
Spine	整机重启（重启时）	30ms	整机重启（恢复时）	0ms
Spine	下行ECMP链路单点故障	160ms	下行ECMP链路单点故障恢复	0ms

1.10 配置验证命令行

表1-6 配置验证命令汇总表

Leaf 1	Leaf 2	命令说明
display drni summary	display drni summary	显示DRNI系统的接口摘要信息
display drni system	display drni system	显示DRNI系统信息
display drni keepalive	display drni keepalive	显示DRNI Keepalive报文的信息
display drni role	display drni role	显示DRNI设备角色信息
display drni consistency-check status	display drni consistency-check status	显示DRNI配置一致性检查状态
display vrrp verbose	display vrrp verbose	查看VRRP信息
display priority-flow-control interface	display priority-flow-control interface	显示接口的PFC信息
display qos wred interface	display qos wred interface	查看接口的ECN信息
display qos map-table dot1p-lp	display qos map-table dot1p-lp	查看dot1p-lp的映射关系
display qos map-table dscp-dot1p	display qos map-table dscp-dot1p	查看dscp-dot1p的映射关系

1.10.2 验证配置详细信息

# 在Leaf1上查看Leaf 1与Leaf 2之间的DRNI系统状态，DRNI正常建立。

[leaf1] display drni summary

Flags: A -- Aggregate interface down, B -- No peer DR interface configured

C -- Configuration consistency check failed

IPP: BAGG1000

IPP state (cause): UP

Keepalive link state (cause): UP

DR interface information

DR interface DR group Local state (cause) Peer state Remaining down time(s)

BAGG100 1 UP UP -

# 在Leaf 1上查看DRNI系统信息。

[leaf1] display drni system

System information

Local system number: 1 Peer system number: 2

Local system MAC: 2001-0000-0018 Peer system MAC: 2001-0000-0018

Local system priority: 110 Peer system priority: 110

Local bridge MAC: 0068-5716-5701 Peer bridge MAC: 90e7-10b2-f8aa

Local effective role: Primary Peer effective role: Secondary

Health level: 0

Standalone mode on split: Disabled

In standalone mode: No

System timer information

Timer State Value (s) Remaining time (s)

Auto recovery Disabled - -

Restore delay Disabled 30 -

Consistency-check delay Disabled 15 -

Standalone delay Disabled - -

Role to None delay Disabled 60 -

# 在Leaf 1上查看DRNI Keepalive报文的信息。

[leaf1] display drni keepalive

Neighbor keepalive link status (cause): Up

Neighbor is alive for: 451077 s 86 ms

Keepalive packet transmission status:

Sent: Successful

Received: Successful

Last received keepalive packet information:

Source IP address: 1.1.1.2

Time: 2022/06/07 16:19:43

Action: Accept

Distributed relay keepalive parameters:

Destination IP address: 1.1.1.2

Source IP address: 1.1.1.1

Keepalive UDP port : 6400

Keepalive interval : 1000 ms

Keepalive timeout : 5 sec

Keepalive hold time: 3 sec

# 在Leaf 1上查看DRNI设备角色信息。

[leaf1] display drni role

Effective role information

Factors Local Peer

Effective role Primary Secondary

Initial role None None

MAD DOWN state Yes Yes

Health level 0 0

Role priority 50 100

Bridge MAC 0068-5716-5701 90e7-10b2-f8aa

Effective role trigger: IPL calculation

Effective role reason: Role priority

Configured role information

Factors Local Peer

Configured role Primary Secondary

Role priority 50 100

Bridge MAC 0068-5716-5701 90e7-10b2-f8aa

# 在Leaf 1上查看DRNI配置一致性信息。

[leaf1] display drni consistency-check status

Global Consistency Check Configuration

Local status : Enabled Peer status : Enabled

Local check mode : Strict Peer check mode : Strict

Consistency Check on Modules

Module Type1 Type2

LAGG Check Check

VLAN Check Check

STP Check Check

MAC Not Check Check

L2VPN Not Check Check

PORTSEC Not Check Not Check

DOT1X Not Check Not Check

MACA Not Check Not Check

WEBAUTH Not Check Not Check

NETANALYSIS Not Check Check

Type1 Consistency Check Result

Global consistency check result: SUCCESS

Inconsistent global modules: -

DR interface DR group ID Check Result Inconsistency modules

BAGG100 1 SUCCESS -

1.11 升级操作

1.11.1 Leaf的升级

1. 升级前的命令行检查

升级前的命令行检查，请参见“1.10 配置验证命令行”和以下表格中的命令行。

表1-7 升级前的命令行检查汇总表

Leaf 1	Leaf 2	命令说明
display device	display device	用来显示设备信息
display boot-loader	display boot-loader	用来显示本次启动和下次启动所采用的启动软件包的名称
display version	display version	用来显示系统版本信息

2. 升级操作

具体操作步骤请参考“H3C交换机DRNI升级、替换、扩容指导”。

3. 升级操作中流量中断时间

单点故障（轻载）时间正切小于500ms，回切小于50ms（传统升级方式，两台DR设备逐台升级）。具体参见“1.9 收敛时间测试”。

4. 升级后的命令行检查

升级后的命令行检查，请参见“1.10 配置验证命令行”和以下表格中的命令行。

表1-8 升级后的命令行检查汇总表

Leaf 1	Leaf 2	命令说明
display device	display device	用来显示设备信息
display boot-loader	display boot-loader	用来显示本次启动和下次启动所采用的启动软件包的名称
display version	display version	用来显示系统版本信息

1.11.2 Spine的升级

1. 升级前的命令行检查

升级前的命令行检查，请参见“1.10 配置验证命令行”和以下表格中的命令行。

表1-9 升级前的命令行检查汇总表

Spine 1	Spine 2	命令说明
display device	display device	用来显示分布式聚合系统的接口摘要信息
display boot-loader	display boot-loader	用来显示本次启动和下次启动所采用的启动软件包的名称
display version	display version	用来显示系统版本信息

2. 升级操作

升级设备软件前，请进行如下操作：

(1) 使用display version命令查看设备当前运行的BootWare程序以及启动软件的版本。

(2) 获取新软件的版本发布说明书，了解新软件的版本号、软件大小以及和当前运行的BootWare程序以及Comware软件的兼容性。

(3) 通过版本发布说明书了解将安装的软件包是否需要License。如果需要，查看设备上是否有对应的有效的License。如果没有，请先安装License。否则，会导致软件包安装失败。

(4) 使用dir命令查看存储介质是否有足够的空间存储新的软件。如果存储空间不足，可使用delete命令删除一些暂时不用的文件。请保证系统中所有的主控板都有足够的存储空间。

(5) 使用FTP、TFTP方式将新软件包下载到任一文件系统的根目录下。

具体升级方式没有特殊要求，以现场情况为准。

3. 升级操作中流量中断时间

单点故障（轻载）时间正切小于200ms，回切小于50ms。具体参见“1.9 收敛时间测试”。

4. 升级后的命令行检查

升级后的命令行检查，请参见“1.10 配置验证命令行”和以下表格中的命令行。

表1-10 升级后的命令行检查汇总表

Leaf 1	Leaf 2	命令说明
display device	display device	用来显示设备信息
display boot-loader	display boot-loader	用来显示本次启动和下次启动所采用的启动软件包的名称
display version	display version	用来显示系统版本信息

1.12 扩容操作

本文描述的扩容操作指新增一组Leaf设备。

1.12.1 Leaf的扩容操作

1. 扩容前的命令行检查

扩容前的命令行检查，请参见“1.10 配置验证命令行”和以下表格中的命令行。

表1-11 扩容前的命令行检查汇总表

Leaf 1	Leaf 2	命令说明
display device	display device	用来显示设备信息
display boot-loader	display boot-loader	用来显示本次启动和下次启动所采用的启动软件包的名称
display version	display version	用来显示系统版本信息

2. 扩容操作

(1) 新增设备断开网管

(2) 升级完成相应版本

(3) 做好预配置

(4) 接入网管

3. 扩容操作中流量中断时间

具体参见“1.9 收敛时间测试”。

4. 扩容后的命令行检查

扩容后的命令行检查，请参见下表中的命令行。

表1-12 扩容后的命令行检查汇总表

Leaf 1	Leaf 2	命令说明
display device	display device	用来显示设备信息
display boot-loader	display boot-loader	用来显示本次启动和下次启动所采用的启动软件包的名称
display version	display version	用来显示系统版本信息

1.13 替换操作

1.13.1 业务板替换操作

1. 替换前的命令行检查

替换前的命令行检查，请参见“1.10 配置验证命令行”和以下表格中的命令行。

表1-13 替换前的命令行检查汇总表

Leaf 1	Leaf 2	命令说明
display device	display device	用来显示设备信息
display boot-loader	display boot-loader	用来显示本次启动和下次启动所采用的启动软件包的名称
display version	display version	用来显示系统版本信息

2. 替换操作

相关业务板上的业务及网管流量应先行切换到正常业务板上。

支持业务板热插拔或者整机断电替换，具体根据现场情况而定。

具体操作步骤请参考“H3C交换机DRNI升级、替换、扩容指导”。

3. 替换操作中流量中断时间

具体参见“1.9 收敛时间测试”。

4. 替换后的命令行检查

与替换前命令行检查相同。

1.13.2 网板替换操作

1. 替换前的命令行检查

替换前的命令行检查，请参见“1.10 配置验证命令行”和以下表格中的命令行。

表1-14 替换前的命令行检查汇总表

Leaf 1	Leaf 2	命令说明
display device	display device	用来显示分布式聚合系统的接口摘要信息
display boot-loader	display boot-loader	用来显示本次启动和下次启动所采用的启动软件包的名称
display version	display version	用来显示系统版本信息

2. 替换操作

支持网板热插拔或者整机断电替换，具体根据现场情况而定。

3. 替换操作中流量中断时间

具体参见“1.9 收敛时间测试”。

4. 替换后的命令行检查

与替换前命令行检查相同。

不同款型规格的资料略有差异, 详细信息请向具体销售和400咨询。H3C保留在没有任何通知或提示的情况下对资料内容进行修改的权利!

热门推荐

热门推荐

H3C服务器

HPE服务器

热门推荐

H3C存储

HPE存储

热门推荐

商用台式机

商用笔记本

商用显示器

配件

热门推荐

热门推荐

智能终端

百业灵犀

技术解决方案

行业解决方案

热门推荐

热门推荐

热门推荐

热门推荐

热门推荐

热门推荐

热门推荐

专业安全服务

安全运营服务

热门推荐

热门推荐

热门推荐

热门推荐

热门推荐

热门推荐

热门推荐

热门推荐

热门推荐

热门推荐

热门推荐

热门推荐

热门推荐

热门推荐

热门推荐

热门推荐

热门推荐

热门推荐

公司刊物

加入我们

国家/地区

H3C数据中心交换机DRNI配置指导书-6W104

目录

06-DRNI+RDMA配置举例-6W100

1 DRNI+RDMA配置举例

1.5 配置Leaf

1.5.2 配置RoCE的全局配置

1. PFC全局配置和数据缓冲区配置

2. 配置全局WRED表（仅WRED table方式涉及）

3. 配置QoS优先级映射

1.5.3 配置与Spine互联链路

1.5.4 配置与Spine互联链路的RoCE配置

1. WRED table方式

2. 端口WRED方式

1.5.6 配置IPL链路的RoCE配置

1. WRED table方式

2. 端口WRED方式

1.5.7 配置与服务器互联链路

1. DR接入链路

1.5.8 配置与服务器互联链路的RoCE配置

1. WRED table方式

2. 端口WRED方式

1.5.9 配置underlay BGP实例

1.5.10 配置VLAN接口及网关（VLAN双活网关方式）

1.5.11 配置VLAN接口及网关（VRRP网关方式）

1.6.2 配置RoCE的全局配置

1. PFC全局配置和数据缓冲区配置

2. 配置全局WRED表（仅WRED table方式涉及）

1.6.3 配置与Leaf的互联链路

1.6.4 配置与Leaf互联链路的RoCE配置

1. WRED table方式

2. 端口WRED方式

1.6.5 配置路由策略将从Leaf收到的路由的AS替换为本地AS