H3C交换机M-LAG升级、替换、扩容指导

资料版本：6W100-20221130

 

Copyright © 2022 新华三技术有限公司及其许可者 版权所有，保留一切权利。

未经本公司书面许可，任何单位和个人不得擅自摘抄、复制本书内容的部分或全部，并不得以任何形式传播。

除新华三技术有限公司的商标外，本手册中出现的其它公司的商标、产品标识及商品名称，由各自权利人拥有。

由于产品版本升级或其他原因，本手册内容有可能变更。H3C保留在没有任何通知或者提示的情况下对本手册的内容进行修改的权利。本手册仅作为使用指导，H3C尽全力在本手册中提供准确的信息，但是H3C并不确保手册内容完全没有错误，本手册中的所有陈述、信息和建议也不构成任何明示或暗示的担保。

目  录

1 M-LAG升级指导··· 1

1.1 M-LAG升级方式介绍·· 1

1.1.1 M-LAG传统升级方式·· 1

1.1.2 维护模式下的M-LAG升级方式·· 2

1.2 升级前准备工作·· 4

1.2.1 检查设备状态·· 4

1.2.2 升级文件准备·· 7

1.2.3 工具准备·· 8

1.2.4 搭建升级环境、下载软件包·· 8

1.3 按M-LAG传统升级方式完成M-LAG升级·· 9

1.3.1 断开与控制器的连接（如果有控制器）·· 9

1.3.2 升级M-LAG系统中的一台设备·· 9

1.3.3 升级另一台M-LAG设备·· 11

1.3.4 恢复与控制器的连接（如果有控制器）·· 11

1.4 按M-LAG传统升级方式完成故障设备替换·· 11

1.5 按维护模式下的M-LAG升级方式完成M-LAG升级·· 14

1.5.1 断开与控制器的连接（如果有控制器）·· 14

1.5.2 升级M-LAG系统中的一台设备·· 14

1.5.3 升级另一台M-LAG设备·· 18

1.5.4 恢复与控制器的连接（如果有控制器）·· 18

1.6 按维护模式下的M-LAG升级方式完成故障设备替换·· 18

1.7 单板替换（仅框式设备涉及）·· 19

1.7.1 待替换业务板上不存在peer-link链路成员端口、Keepalive链路端口·· 19

1.7.2 待替换业务板上存在peer-link链路成员端口·· 20

1.7.3 待替换业务板上存在Keepalive链路端口·· 21

1.7.4 待替换主控板上存在Keepalive链路端口（双主控环境，管理口作keepalive链路端口）·· 21

1.8 Leaf扩容操作指导·· 22

 

 

1 M-LAG升级指导

M-LAG（Multichassis link aggregation，跨设备链路聚合）是一种跨设备链路聚合技术，通过将两台物理设备在聚合层面虚拟成一台设备来实现跨设备链路聚合，从而提供设备级冗余保护和流量负载分担，提升了网络的可靠性和升级的便捷性。

本文将介绍如下两种M-LAG设备升级方式：

·     M-LAG传统升级方式

·     维护模式下的M-LAG升级方式（支持GIR功能的设备推荐使用此方式）

 

1.1  M-LAG升级方式介绍

1.1.1  M-LAG传统升级方式

M-LAG传统升级是指对M-LAG的两台设备分别进行重启升级。当前所有支持M-LAG的设备在所有场景下都支持M-LAG传统升级方式。

升级流程如图1-1所示，先升级M-LAG系统中的一台设备，待M-LAG状态和业务都正常后，再进行另一台M-LAG设备的升级。两台M-LAG设备的升级顺序对业务的影响结果相同。如果选择先升级从设备，后升级主设备，升级完成后，设备的主备角色和升级前不同。

图1-1 M-LAG传统升级方式过程流程图

 

1.1.2  维护模式下的M-LAG升级方式

1. 升级过程

维护模式下的M-LAG升级方式，也是两台设备分别进行重启升级，区别在于：维护模式下的M-LAG升级，需要先配置M-LAG中一台待升级设备为维护模式，将流量从待升级设备切到M-LAG的备份设备，重启待升级设备完成升级，再将设备从维护模式切回到普通模式，整个升级过程中零丢包（单挂场景除外），提高了升级的可靠性。

维护模式升级过程如图1-2所示：将一台M-LAG设备配置为维护模式后，流量会自动切换到另一台M-LAG设备，然后进行设备升级，待升级重新启动完成且M-LAG运行状态恢复后，再将设备从维护模式切回到普通模式，流量回切。确认M-LAG设备状态和业务都正常后，再升级另一台M-LAG设备。另一台M-LAG设备的升级过程相同，这里不再赘述。两台M-LAG设备的升级顺序对业务的影响结果相同。如果选择先升级从设备，后升级主设备，升级完成后，设备的主备角色和升级前不同。

图1-2 维护模式下的M-LAG升级方式过程流程图

 

2. 维护模式下的M-LAG升级方式优势

采用M-LAG传统升级方式时（未开启STP），业务中断时间在500ms以内（单挂场景除外）。采用维护模式下的M-LAG升级方式时（未开启STP），可以做到升级零丢包，包括Overlay组网leaf的M-LAG东西向流量，Underlay组网的南北向流量等。

 

1.2  升级前准备工作

 

1.2.1  检查设备状态

1. 查询当前软件版本

使用display version命令查看设备正在运行的系统软件的版本。

<Sysname> display version

H3C Comware Software, Version 7.1.070, Feature 6632

Copyright (c) 2004-2021 New H3C Technologies Co., Ltd. All rights reserved.

H3C S6850-56HF uptime is 0 weeks, 4 days, 1 hour, 44 minutes

Last reboot reason : User reboot

2. 查询设备运行状态

使用display device命令查看设备工作状态，确认设备工作正常。

<Sysname> display device

Slot Type                State    Subslot  Soft Ver                     Patch Ver

1    S6850-56HF          Master   0        S6850-56HF-6632              None     

设备正常工作下的“State”字段应该为“Master”。

使用display system stable state命令查看设备工作在稳定状态。

<Sysname> display system stable state

System state     : Stable

Redundancy state : No redundance

  Slot    CPU    Role       State

  1       0      Active     Stable

设备正常工作下的“State”字段应该为“Stable”。

使用display memory命令查看设备内存使用情况，升级完成后再次查看并与升级前对比是否有较大差别，如果差别较大需要排查升级后设备是否存在异常。

<Sysname> display memory

Memory statistics are measured in KB:                                           

Slot 1:                                                                        

             Total      Used      Free    Shared   Buffers    Cached   FreeRatio

Mem:       8090436   1633592   6456844         0      3672    187888       79.8%

-/+ Buffers/Cache:   1442032   6648404                                         

Swap:            0         0         0                                         

使用display cpu-usage命令查看CPU利用率统计信息，升级完成后再次查看并与升级前对比是否有较大差别，如果差别较大需要排查升级后设备是否存在异常。

<Sysname> display cpu-usage

Slot 1 CPU 0 CPU usage:

       1% in last 5 seconds

       1% in last 1 minute

       1% in last 5 minutes

3. 查询M-LAG状态

使用display m-lag summary命令查看M-LAG工作状态，确认M-LAG设备工作正常。

<Sysname> display m-lag summary

Flags: A -- Aggregate interface down, B -- No peer M-LAG interface configured

C -- Configuration consistency check failed

 

Peer-link interface: BAGG1

Peer-link interface state (cause): UP

Keepalive link state (cause): UP

 

M-LAG interface information

M-LAG IF    M-LAG group  Local state (cause)  Peer state  Remaining down time(s)

BAGG2        2              UP                       UP           -

BAGG3        3              UP                       UP           -

设备正常工作下的“Peer-link interface state”字段应该为“UP”。

使用display m-lag keepalive命令显示Keepalive报文的信息。

<Sysname> display m-lag keepalive

Neighbor keepalive link status: Up

Neighbor is alive for: 135642 s 501 ms

Keepalive packet transmission status:

  Sent: Successful

  Received: Successful

Last received keepalive packet information:

  Source IP address: 10.0.0.2

  Time: 2021/12/11 09:21:51

  Action: Accept

 

M-LAG keepalive parameters:

Destination IP address: 10.0.0.2

Source IP address: 10.0.0.1

Keepalive UDP port : 6400

Keepalive VPN name : vpn1

Keepalive interval : 1000 ms

Keepalive timeout  : 5 sec

Keepalive hold time: 3 sec

使用display m-lag role 命令显示M-LAG角色信息。

<Sysname> display m-lag role

                    Effective role information

Factors                  Local                   Peer

Effective role         Primary                  Secondary

Initial role            None                     None

MAD DOWN state          Yes                      Yes

Health level            0                         0

Role priority           32768                    32768

Bridge MAC              3cd4-3ce1-0200          3cd4-437d-0300

Effective role trigger: Peer link calculation

Effective role reason: Bridge MAC

 

                    Configured role information

Factors                  Local                    Peer

Configured role          Primary                  Secondary

Role priority            32768                    32768

Bridge MAC               3cd4-3ce1-0200          3cd4-437d-0300

使用display m-lag system命令显示M-LAG系统信息。

<Sysname> display m-lag system

                     System information

Local system number: 1                       Peer system number: 2

Local system MAC: 0001-0001-0001           Peer system MAC: 0001-0001-0001

Local system priority: 123                  Peer system priority: 123

Local bridge MAC: 3cd4-3ce1-0200           Peer bridge MAC: 3cd4-437d-0300

Local effective role: Primary              Peer effective role: Secondary

Health level: 0

Standalone mode on split: Enabled

In standalone mode: No

 

                     System timer information

Timer                       State       Value (s)    Remaining time (s)

Auto recovery              Disabled    -            -

Restore delay              Disabled    300          -

Consistency-check delay  Disabled    15           -

Standalone delay          Disabled    -            -

Role to None delay        Disabled    60           -

4. 检查设备配置（m-lag restore-delay和NSR）

检查m-lag restore-delay命令配置的延迟恢复时间是否合适。如果延迟恢复时间过短，M-LAG设备重启后未完成表项同步端口就UP了，会产生较多丢包。m-lag restore-delay的配置建议请参考M-LAG配置指导书。

对于框式双主控设备，升级前可以配置NSR（Nonstop Routing，不间断路由）以减少升级过程中的业务中断时间。

5. 查看flash剩余空间

使用dir命令查看Flash的剩余空间，确认Flash中有足够的剩余空间容纳待升级的版本文件。

<Sysname> dir

Directory of flash:

   0 -rw-       80264 DEC 11 2021 00:33:57   startup.mdb

   1 -rw-        3523 DEC 11 2021 00:33:56   startup.cfg

   2 -rw-    9959424  DEC 11 2021 16:04:08   boot.bin

   3 -rw-    53555200 DEC 11 2021 16:04:08   system.bin

   4 drw-           - DEC 11 2021 00:03:07   seclog

   5 drw-           - DEC 11 2021 00:03:07   versionInfo

   6 -rw-    91273216 DEC 11 2021 09:54:27   backup.bin

 

1048576 KB total (897252 KB free)

显示信息中灰色显示部分为设备Flash中的剩余空间。如果剩余空间不够，需要删除无用文件。在用户视图下执行delete /unreserved flash:/filename 删除Flash上多余的文件。

6. 检查设备业务状况

M-LAG设备升级前查看MAC地址表、ARP表、路由邻居、路由表、FIB表等信息，升级完成后再次查看以确认升级后业务运行是否正常。

命令	描述
display mac-address	查看MAC地址表信息
display arp	查看ARP表项
display ipv6 neighbors	查看IPv6邻居信息
display ip interface brief	查看三层接口地址信息
display ospf peer	查看OSPF邻居信息
display ospfv3 peer	查看OSPFv3邻居信息
display bgp peer ipv4	查看BGP IPv4对等体信息
display bgp peer ipv6	查看BGP IPv6对等体信息
display isis peer	查看ISIS邻居信息
display ip routing-table display ip routing-table all-routes display ipv6 routing-table display ipv6 routing-table all-routes	查看路由表信息
display fib display ipv6 fib	查看FIB表信息
display vrrp display vrrp ipv6	查看VRRP备份组状态信息
display current-configuration	显示设备当前配置信息

 

1.2.2  升级文件准备

准备升级需要的文件，包括启动软件包、补丁包和配置文件。

1. 启动软件包

启动软件包一方面提供对硬件的驱动和适配功能，另一方面实现了业务特性。启动软件包按其功能分为：

·     Boot软件包：包含操作系统内核的包，提供进程管理、内存管理、文件系统管理、应急Shell等功能。

·     System软件包：包含设备运行必须的模块和基本功能模块，比如设备管理、接口管理、配置管理和路由模块等。

设备必须具有Boot包和System包才能正常运行。这些软件包可以单独发布，也可以集成为一个IPE（Image Package Envelope，复合软件包套件）文件统一发布，以减少启动软件包之间的版本管理问题。

 

2. 补丁包

补丁包用于在不重启设备的情况下快速修复系统缺陷。补丁是一种快速、低成本修复产品软件版本缺陷的方式。与通过重启方式升级启动软件包相比，补丁的主要优势是不会使设备当前正在运行的业务中断，在不重启设备的情况下，可以对设备当前软件版本的缺陷进行修复。

3. 配置文件

配置文件是用来保存配置的文件。设备重启后，这些配置继续生效。当网络中多台设备需要批量配置时，可以将相同的配置保存到配置文件，再上传/下载到所有设备，在所有设备上执行该配置文件来实现设备的批量配置。

1.2.3  工具准备

升级前，需要准备以下工具：

·     操作终端，可以是台式机或者便携机。

·     网线、串口线。

·     FTP Server/SFTP Server软件或TFTP Server软件。

 

1.2.4  搭建升级环境、下载软件包

搭建通过TFTP或FTP协议升级的环境时，基本要求如下：

·     使用串口线连接PC的串口和设备的Console口。

·     使用网线连接PC的网口和设备的管理用以太网接口。

完成升级环境搭建后，使用FTP/SFTP或者TFTP协议将软件包下载到设备上。

下载软件包到设备后，在用户视图执行md5sum命令，计算软件包的摘要值，将该摘要值与版本发布流程中MD5文件中的值对比。如果验证一致，则表示软件包正确、完整；如果验证不一致，需要重新下载软件包。

1.3  按M-LAG传统升级方式完成M-LAG升级

1.3.1  断开与控制器的连接（如果有控制器）

两台M-LAG设备均需断开与控制器的连接。断开后，可以执行display openflow instance instance-id controller命令检查控制器连接状态，Connect state字段为idle表示断开。例如：

[Sysname] display openflow instance 1 controller | include state

 Connect state           : Idle

 Connect state           : Idle

1.3.2  升级M-LAG系统中的一台设备

1. 指定升级文件

(1)     指定下次启动使用的启动文件。

<Sysname> boot-loader file flash:/s9850_6850-f6633.ipe all main

(2)     查看设备下次启动所用的启动文件是否为新加载的启动文件。

<Sysname> display boot-loader

Software images on slot 1:

Current software images:

  flash:/s9850_6850-cmw710-boot-f6632.bin

  flash:/s9850_6850-cmw710-system-f6632.bin

Main startup software images:

  flash:/s9850_6850-cmw710-boot-f6633.bin

  flash:/s9850_6850-cmw710-system-f6633.bin

Backup startup software images:

  None

2. 隔离M-LAG设备

请按照如下顺序关闭设备上的物理端口。只需要关闭物理端口，不需要关闭聚合接口、VLAN接口、Tunnel接口、VSI接口等逻辑接口。

(1)     关闭所有业务端口，先关闭下行端口，再关闭上行端口；

(2)     关闭keepalive链路物理端口；

(3)     关闭peer-link链路物理端口。

在待升级设备较多，业务中断时间不特别敏感的场景也可以使用接口批量配置方式（interface range）批量关闭所有物理接口或直接将设备下电。

3. 重启设备

执行reboot命令重新启动设备，设备会用新加载的启动软件进行启动。

<Sysname> reboot

Start to check configuration with next startup configuration file, please wait.........DONE!

Current configuration may be lost after the reboot, save current configuration? [Y/N]:y  -----输入y保存配置文件

Please input the file name(*.cfg)[flash:/m-lag_old.cfg]

(To leave the existing filename unchanged, press the enter key):startup.cfg

Validating file. Please wait...

Saved the current configuration to mainboard device successfully.

This command will reboot the device. Continue? [Y/N]:y  --------输入y重启设备

4. 验证设备升级是否成功

(1)     检查版本文件是否已升级为目标文件

<Sysname> display boot-loader

Software images on slot 1:

Current software images:

  flash:/s9850_6850-cmw710-boot-f6633.bin

  flash:/s9850_6850-cmw710-system-f6633.bin

Main startup software images:

  flash:/s9850_6850-cmw710-boot-f6633.bin

  flash:/s9850_6850-cmw710-system-f6633.bin

Backup startup software images:

  None

(2)     检查设备运行状态是否正常

使用display device命令查看设备运行状态。正常情况下，设备状态应该为”Master”。

<Sysname> display device

Slot Type                State    Subslot  Soft Ver                     Patch Ver

1    S6850-56HF          Master   0        S6850-56HF-6633              None     

(3)     检查配置是否恢复

启动完成后，在任意视图下使用display current-configuration命令查看交换机当前的配置信息。可以在任意视图下使用display diff current-configuration configfile flash:/XXX.cfg比较当前的配置文件与存储设备中保存的配置文件，查看是否存在配置丢失或更改的情况。

5. 恢复M-LAG设备物理连接

当2. 隔离M-LAG设备中选择关闭物理接口的隔离方式时，请按照如下顺序开启设备上的物理端口。

(1)     开启peer-link链路物理端口；

(2)     开启keepalive链路物理端口；

(3)     开启所有业务端口，先开启上行端口，再开启下行端口。

开启peer-link链路物理端口，M-LAG系统重新形成后，业务端口经过m-lag restore-delay（单位为秒）命令配置的延迟恢复时间之后才能UP。建议经过延迟恢复时间之后再进行开启端口的操作。

如果2. 隔离M-LAG设备中选择了直接下电的方式，则不涉及本步骤。

6. 检查业务是否正常

检查业务是否正常的两种方法：

·     将收集的各种表项（如路由表、FIB表、MAC地址表等）与升级之前的表项进行对比，检查是否有丢失；对比升级前后的业务流量是否一致。

·     跟运维人员一起查看当前业务是否正常，服务器等能否正常运行。

如果业务运行异常需要回退版本，请重复执行本节内容将版本回退至升级前的版本。

1.3.3  升级另一台M-LAG设备

升级步骤与1.3.2  升级M-LAG系统中的一台设备步骤一致，这里不再赘述。

如果业务运行异常需要回退版本，请先将本设备版本回退，再将先升级的M-LAG设备版本回退。

1.3.4  恢复与控制器的连接（如果有控制器）

可以执行display openflow instance instance-id controller命令检查控制器连接状态，Connect state字段为Established表示成功建立连接。例如：

[Sysname] display openflow instance 1 controller | include state

 Connect state           : Established

 Connect state           : Established

恢复与控制器的连接后，需要再次检查业务状态，如果业务运行异常，请按如下顺序回退版本：

(1)     断开与控制器的连接；

(2)     回退后升级的M-LAG设备版本；

(3)     回退先升级的M-LAG设备版本。

1.4  按M-LAG传统升级方式完成故障设备替换

1. 将故障设备的配置文件导入到新设备上

如果故障设备仍可运行，请保存并下载故障设备的配置文件。需要注意的是，如果故障设备进行过应急处理的配置（例如故障接口被shutdown，部署过流量统计功能等），获取故障设备配置文件后，需要删除应急处理的配置。

如果故障设备已不可运行，请尝试通过客户备份配置文件的相关平台/工具获取备份配置。请确认备份配置与在网配置一致后再进行配置导入。确认方法有：确认备份后该设备是否存在变更操作，或者对比正常运行的另一台M-LAG设备配置。

2. 在新设备上指定版本文件和配置文件，重启新设备，使指定版本文件和配置文件生效

升级版本与在网设备版本保持一致，升级步骤请参考“1.3.2  升级M-LAG系统中的一台设备”。

3. 将新设备所有物理端口关闭

将新设备所有物理端口关闭。为了方便执行故障设备替换操作，可以根据需要将新设备下电。

新设备需要在连接好线缆后才能接入网络运行，否则可能导致较长时间丢包。

4. 关闭故障设备所有物理端口或故障设备下电

关闭故障设备所有物理端口或故障设备下电。待替换设备较多时建议采用下电的方式。

5. 替换故障设备，为新设备连接线缆

·     故障设备原位替换

a.     在业务变更时间窗口内，与业务部门确认变更可执行后，将故障设备关电下架。设备关电会造成业务瞬时闪断（非敏感业务影响可忽略），过程中可以持续进行Ping操作，观察记录业务中断或丢包时间。

b.     新设备原位上架。

c.     在非上电或全部物理端口关闭的状态下，将新设备与对端M-LAG设备连接好peer-link物理链路。

·     故障设备非原位替换

a.     新设备完成版本升级与配置文件导入后上架至规定位置。

b.      在业务变更时间窗口内，与业务部门确认变更可执行后，将故障设备关电下架。设备关电会造成业务瞬时闪断（非敏感业务影响可忽略），过程中可以持续进行Ping操作，观察记录业务中断或丢包时间。

c.     在非上电或全部物理端口关闭的状态下，为新设备连接线缆。

6. 开启新设备物理端口

(1)     如果在替换故障设备之前新设备被下电，请将新设备上电启动。

(2)     开启peer-link链路物理端口。

(3)     检查M-LAG配置一致性。

# 显示二层聚合接口Type 1类型的配置一致性信息。

<Sysname> display m-lag consistency type1 interface bridge-aggregation 1//以聚合接口1为例

LAGG consistency check: Success

Local aggregation mode: Dynamic

Peer aggregation mode: Dynamic

VLAN consistency check :Success

Local link type: Trunk

Peer link type: Trunk

Local PVID: 10

Peer PVID: 10

STP consistency check: Success

Local STP protocol state: Enabled

Peer STP protocol state: Enabled

# 显示全局的Type 2类型的配置一致性信息。

<Sysname> display m-lag consistency type2 global

VLAN consistency check: Success

Local VLAN interfaces:

  2-10, 15, 20-30, 40, 50

Peer VLAN interfaces:

  2-10, 15, 20-30, 40, 50

Passing PVID and VLANs (tagged) on local peer-link interface:

  1

Passing PVID and VLANs (tagged) on peer peer-link interface:

  1

Invalid VLANs on local peer-link interface:

  None

(4)     请按如下顺序开启除了peer-link物理链路接口外的其他接口：

 

a.     开启上行接口，确认上行协议状态，例如OSPF邻居是否完成建立，LACP聚合状态是否符合预期。

b.     开启下行接口，业务流会逐步切换至新设备，连接过程中可通过持续的Ping操作观察业务是否有中断或丢包。

c.     开启keeplive接口，确认keeplive链路已经建立并且设备接口没有被MAD Down。

<Sysname> display m-lag keepalive

Neighbor keepalive link status: Up//确认对端设备存在，可以正常收发Keepalive报文

Neighbor is alive for: 135642 s 501 ms

Last keepalive packet sending status: Successful

Last keepalive packet sending time: 2021/12/11 18:23:53 986 ms

Last keepalive packet receiving status: Successful

Last keepalive packet receiving time: 2021/12/11 18:23:54 99 ms

M-LAG keepalive parameters:

Destination IP address: 10.0.0.2

Source IP address: 10.0.0.1

Keepalive UDP port : 6400

Keepalive VPN name : vpn1

Keepalive interval : 1000 ms

Keepalive timeout  : 5 sec

Keepalive hold time: 3 sec

 

<Sysname> display m-lag mad verbose

M-LAG MAD DOWN state: No //确认设备所有接口均未被设置为M-LAG MAD DOWN状态

Restore delay: 30 s

Remaining restore delay: -

M-LAG MAD default action: DOWN

M-LAG MAD DOWN persistence: Disabled

Excluding logical interfaces: Disabled

Port configuration for M-LAG MAD DOWN action:

  Included ports(user-configured):

  Included ports(system-configured):

  Excluded ports(user-configured):

  Excluded ports(system-configured):

    Management interfaces:

      M-GigabitEthernet0/0/0

      M-GigabitEthernet0/0/1

    M-LAG interfaces:

      Bridge-Aggregation4

    Peer-link interface:

      Bridge-Aggregation3

    Member interfaces of peer-link interface Bridge-Aggregation3:

      Twenty-FiveGigE1/0/1

      Twenty-FiveGigE1/0/2

7. 验证替换后业务是否运行正常

(1)     确认物理接口的管理状态不是关闭（即状态不是Administratively DOWN或ADM），状态为UP。

参考命令：display interface brief

(2)     确认聚合口状态是否符合预期。

a.     确认聚合成员口是否为选中状态

参考命令：display link-aggregation verbose bridge-aggregation

b.     确认聚合口带宽值是否符合预期

参考命令：display interface brief

(3)     检查业务是否正常

跟运维人员一起查看当前业务是否正常，服务器等能否正常运行。

8. 恢复与控制器的连接（如果有控制器）

可以执行display openflow instance instance-id controller命令检查控制器连接状态，Connect state字段为Established表示成功建立连接。例如：

[Sysname] display openflow instance 1 controller | include state

 Connect state           : Established

 Connect state           : Established

恢复与控制器的连接后，需要再次检查业务状态，如果业务运行异常，请先断开与控制器的连接，排除故障后再重新连接。

1.5  按维护模式下的M-LAG升级方式完成M-LAG升级

1.5.1  断开与控制器的连接（如果有控制器）

两台M-LAG设备均需断开与控制器的连接。断开后，可以执行display openflow instance instance-id controller命令检查控制器连接状态，Connect state字段为idle表示断开。例如：

[Sysname] display openflow instance 1 controller | include state

 Connect state           : Idle

 Connect state           : Idle

1.5.2  升级M-LAG系统中的一台设备

1. 配置维护模式，流量正切

执行gir system-mode maintenance命令配置M-LAG设备进入维护模式，相关路由和聚合均自动下发隔离，流量切换到另一台M-LAG设备。

 

<Sysname> system-view

[Sysname] gir system-mode maintenance

Collecting commands... Please wait.

Configuration to be applied:

bgp 200

isolate enable

isis 1

isolate enable

isis 2 vpn-instance vpna

isolate enable

ospf 1 router-id 11.11.11.11

isolate enable

ospfv3 1

isolate enable

link-aggregation lacp isolate

Do you want to continue? [Y/N]: y   ---------需要输入y，确认配置为维护模式

Generated a snapshot: before_maintenance.

Applying: bgp 200...OK

Applying:   isolate enable...OK

Applying: isis 1...OK

Applying:   isolate enable...OK

Applying: isis 2 vpn-instance vpna...OK

Applying:   isolate enable...OK

Applying: ospf 1 router-id 11.11.11.11...OK

Applying:   isolate enable...OK

Applying: ospfv3 1...OK

Applying:   isolate enable...OK

Applying: link-aggregation lacp isolate...OK

Changed to maintenance mode successfully.

2. 保存配置

请保存维护模式的配置，再继续后续升级。如果不保存配置，升级成功重新启动后，设备为普通模式，流量回切会有丢包。

3. 指定升级文件并重新启动设备

(1)     指定下次启动使用的启动文件。

<Sysname> boot-loader file flash:/s9850_6850-f6633.ipe all main

(2)     查看设备下次启动所用的启动软件是否为新加载的启动软件。

<Sysname> display boot-loader

Software images on slot 1:

Current software images:

  flash:/s9850_6850-cmw710-boot-f6632.bin

  flash:/s9850_6850-cmw710-system-f6632.bin

Main startup software images:

  flash:/s9850_6850-cmw710-boot-f6633.bin

  flash:/s9850_6850-cmw710-system-f6633.bin

Backup startup software images:

  None

(3)     重启设备

执行reboot命令重新启动设备，设备会用新加载的启动软件进行启动。

<Sysname> reboot

Start to check configuration with next startup configuration file, please wait.........DONE!

Current configuration may be lost after the reboot, save current configuration? [Y/N]:y  -----输入y，需要保存维护模式的命令

Please input the file name(*.cfg)[flash:/m-lag_old.cfg]

(To leave the existing filename unchanged, press the enter key):startup.cfg  ------可以指定新的配置文件名称，也可以覆盖现有配置

Validating file. Please wait...

Saved the current configuration to mainboard device successfully.

This command will reboot the device. Continue? [Y/N]:y  --------输入y重启设备

4. 验证维护模式下的M-LAG升级方式是否成功

(1)     检查版本文件是否已升级为目标文件

<Sysname> display boot-loader

Software images on slot 1:

Current software images:

  flash:/s9850_6850-cmw710-boot-f6633.bin

  flash:/s9850_6850-cmw710-system-f6633.bin

Main startup software images:

  flash:/s9850_6850-cmw710-boot-f6633.bin

  flash:/s9850_6850-cmw710-system-f6633.bin

Backup startup software images:

  None

(2)     检查设备运行状态是否正常

使用display device命令查看设备运行状态。正常情况下，设备状态应该为”Master”。

<Sysname> display device

Slot Type                State    Subslot  Soft Ver                     Patch Ver

1    S6850-56HF          Master   0        S6850-56HF-6633              None     

(3)     检查配置是否恢复

启动完成后，在任意视图下使用display current-configuration命令查看设备当前的配置信息。可以在任意视图下使用display diff current-configuration configfile flash:/XXX.cfg比较当前的配置文件与存储设备中保存的配置文件，查看是否存在配置丢失或更改的情况。

(4)     查询M-LAG状态

使用display m-lag summary命令查看M-LAG工作状态，确认M-LAG设备工作正常。

<Sysname> display m-lag summary

Flags: A -- Aggregate interface down, B -- No peer M-LAG interface configured

C -- Configuration consistency check failed

 

Peer-link interface: BAGG1

Peer-link interface state (cause): UP

Keepalive link state (cause): UP

 

M-LAG interface information

M-LAG IF    M-LAG group  Local state (cause)  Peer state  Remaining down time(s)

BAGG2        2             UP                       UP            -

BAGG3        3             UP                       UP            -

设备正常工作下的”Peer-link interface state”字段应该为”UP”。

5. 流量回切

(1)     将M-LAG设备切回到普通模式，流量回切

[Sysname] undo gir system-mode maintenance

Collecting commands... Please wait.

Configuration to be applied:

   undo link-aggregation lacp isolate

   ospfv3 1

     undo isolate enable

   ospf 1 router-id 11.11.11.11

     undo isolate enable

   isis 1

     undo isolate enable

   isis 2 vpn-instance vpna

     undo isolate enable

   bgp 200

     undo isolate enable

Do you want to continue? [Y/N]: y

Applying: undo link-aggregation lacp isolate...OK

Applying: ospfv3 1...OK

Applying:   undo isolate enable...OK

Applying: ospf 1 router-id 11.11.11.11...OK

Applying:   undo isolate enable...OK

Applying: isis 1...OK

Applying:   undo isolate enable...OK

Applying: isis 2 vpn-instance vpna...OK

Applying:   undo isolate enable...OK

Applying: bgp 200...OK

Applying:   undo isolate enable...OK

Changed to normal mode successfully.

Generated a snapshot: after_maintenance.

(2)     流量回切完成后，验证业务是否正常

检查业务是否正常的两种方法：

·     将收集的各种表项（如路由表、FIB表、MAC地址表等）与升级之前的表项进行对比，检查是否有丢失；对比升级前后的业务流量是否一致。

·     跟运维人员一起查看当前业务是否正常，服务器等能否正常运行。

(3)     保存配置，升级完成

保存配置前，需要保证设备处于普通模式。

1.5.3  升级另一台M-LAG设备

升级步骤与1.5.2  升级M-LAG系统中的一台设备步骤一致，这里不再赘述。

1.5.4  恢复与控制器的连接（如果有控制器）

可以执行display openflow instance instance-id controller命令检查控制器连接状态，Connect state字段为Established表示成功建立连接。例如：

[Sysname] display openflow instance 1 controller | include state

 Connect state           : Established

 Connect state           : Established

恢复与控制器的连接后，需要再次检查业务状态，如果业务运行异常，请按如下顺序回退版本：

(1)     断开与控制器的连接；

(2)     回退后升级的M-LAG设备版本；

(3)     回退先升级的M-LAG设备版本。

1.6  按维护模式下的M-LAG升级方式完成故障设备替换

如果用户对业务收敛时间要求较高，且故障设备可以切换到维护模式，也可以在维护模式下替换设备。

1. 故障设备切换到维护模式

故障设备执行gir system-mode maintenance命令从普通模式切换到维护模式，并保存配置。

2. 将故障设备的配置文件导入到新设备上

如果故障设备仍可运行，请保存并下载故障设备的配置文件。需要注意的是，如果故障设备进行过应急处理的配置（例如故障接口被shutdown，部署过流量统计功能等），获取故障设备配置文件后，需要删除应急处理的配置。

如果故障设备已不可运行，请尝试通过客户备份配置文件的相关平台/工具获取备份配置。请确认备份配置与在网配置一致后再进行配置导入。确认方法有：确认备份后该设备是否存在变更操作，或者对比正常运行的另一台M-LAG设备配置。

3. 在新设备上指定版本文件和配置文件，重启新设备，使指定版本文件和配置文件生效

升级版本与在网设备版本保持一致，升级步骤请参考1.5.2  3. 指定升级文件并重新启动设备和1.5.2  4. 验证维护模式下的M-LAG升级方式是否成功。

4. 将新设备下电或关闭所有物理端口

将新设备下电或关闭所有物理端口。新设备需要在连接好线缆后才能接入网络运行，否则可能导致较长时间丢包。

5. 关闭故障设备所有物理端口或故障设备下电

关闭故障设备所有物理端口或故障设备下电。待替换设备较多时建议采用下电的方式。

6. 替换故障设备

将新设备原位上架或上架至规定位置。

7. 为新设备连接线缆

为新设备连接线缆。

8. 新设备上电或开启所有物理端口

新设备上电或开启所有物理端口。

9. 新设备从维护模式切回普通模式

新设备执行undo gir system-mode maintenance命令从维护模式切回普通模式并保存配置。

10. 验证替换后业务是否运行正常

(1)     确认物理接口的管理状态不是关闭（即状态不是Administratively DOWN或ADM），状态为UP。

参考命令：display interface brief

(2)     确认聚合口状态是否符合预期。

a.     确认聚合成员口是否为选中状态

参考命令：display link-aggregation verbose bridge-aggregation

b.     确认聚合口带宽值是否符合预期

参考命令：display interface brief

(3)     检查业务是否正常

跟运维人员一起查看当前业务是否正常，服务器等能否正常运行。

11. 恢复与控制器的连接（如果有控制器）

可以执行display openflow instance instance-id controller命令检查控制器连接状态，Connect state字段为Established表示成功建立连接。例如：

[Sysname] display openflow instance 1 controller | include state

 Connect state           : Established

 Connect state           : Established

恢复与控制器的连接后，需要再次检查业务状态，如果业务运行异常，请先断开与控制器的连接，排除故障后再重新连接。

1.7  单板替换（仅框式设备涉及）

1.7.1  待替换业务板上不存在peer-link链路成员端口、Keepalive链路端口

(1)     关闭待替换业务板的所有业务口，具体步骤如下：

a.     通过interface range方式将待替换业务板的业务口批量关闭。对于M-LAG接口，本过程涉及的流量切换丢包时间在500ms以内。

b.     执行display m-lag summary命令确认M-LAG状态正常。

c.     执行save命令保存配置。

(2)     用新业务板（与待替换业务板型号一致）替换旧业务板。新业务板端口执行shutdown命令关闭，并且参考待替换端口的配置进行配置（如果新业务板使用和被替换业务板相同的槽位，则无需此操作）。

(3)     将被替换业务板的连接线缆平移到新业务板上。

(4)     确认新业务板状态正常后，恢复新业务板业务。具体步骤如下：

a.     执行display system stable state命令查看新业务板状态是否稳定。

b.     执行display m-lag summary命令确认M-LAG状态正常。

c.     通过interface range方式将新业务板的端口批量开启。对于M-LAG接口，本过程涉及的流量切换丢包时间在150ms以内。

d.     分别执行display counters rate inbound、display counters rate outbound查看新业务板业务口流量转发是否正常。

e.     执行save命令保存配置。

1.7.2  待替换业务板上存在peer-link链路成员端口

(1)     如果peer-link链路成员端口均位于待替换业务板上，请从步骤(2)开始。如果peer-link链路接口是跨板聚合接口，在其他业务板上也有成员端口，请从步骤(3)开始。

(2)     在其他业务板上新增物理链路加入到peer-link链路聚合组。具体步骤如下：

a.     在新增链路端口执行shutdown关闭端口，配置该端口和peer-link链路聚合接口VLAN属性相同（包括端口的链路类型、允许通过的VLAN、缺省VLAN），否则该端口不能加入peer-link链路聚合组。

 

b.     执行port link-aggregation group命令将新增链路加入到peer-link链路聚合组。

c.     在新增链路端口执行undo shutdown开启端口。

d.     执行display link-aggregation verbose bridge-aggregation命令查看peer-link链路聚合接口正常，新增peer-link链路物理链路的端口为选中状态，执行display m-lag summary命令确认M-LAG状态正常。

(3)     关闭待替换业务板的所有业务口，具体步骤如下：

a.     先执行shutdown关闭peer-link链路成员端口。

b.     执行display m-lag summary命令确认M-LAG状态正常。

c.     通过interface range方式将待替换业务板的其它业务口批量关闭。对于M-LAG接口，本过程涉及的流量切换丢包时间在500ms以内。

d.     执行save命令保存配置。

(4)     用新业务板（与待替换业务板型号一致）替换旧业务板。新业务板端口执行shutdown命令关闭，并且参考待替换端口的配置进行配置（如果新业务板使用和被替换业务板相同的槽位，则无需此操作）。

(5)     将被替换业务板的连接线缆平移到新业务板上。

(6)     确认新业务板状态正常后，恢复新业务板业务。具体步骤如下：

a.     执行display system stable state命令查看新业务板状态是否稳定。

b.     新业务板状态稳定之后执行undo shutdown命令开启peer-link链路成员端口。

c.     执行display link-aggregation verbose bridge-aggregation命令查看peer-link链路聚合接口正常，执行display m-lag summary命令确认M-LAG状态正常。

d.     通过interface range方式将新业务板的其它业务口批量开启。对于M-LAG接口，本过程涉及的流量切换丢包时间在150ms以内。

e.     分别执行display counters rate inbound、display counters rate outbound查看新业务板业务口流量转发是否正常。

f.     执行save命令保存配置。

1.7.3  待替换业务板上存在Keepalive链路端口

(1)     Keepalive链路端口执行shutdown命令关闭端口。

(2)     关闭待替换业务板的所有业务口，具体步骤如下：

a.     通过interface range方式将待替换业务板的其它业务口批量关闭。对于M-LAG接口，本过程涉及的流量切换丢包时间在500ms以内。

b.     执行save命令保存配置。

(3)     用新业务板（与待替换业务板型号一致）替换旧业务板。新业务板端口执行shutdown命令关闭，并且参考待替换端口的配置进行配置（如果新业务板使用和被替换业务板相同的槽位，则无需此操作）。

(4)     将被替换业务板的连接线缆平移到新业务板上。

(5)     确认新业务板状态正常后，恢复新业务板业务。具体步骤如下：

a.     执行display system stable state命令查看新业务板状态是否稳定。

b.     新业务板状态稳定之后执行undo shutdown命令开启Keepalive链路端口。

c.     执行display m-lag summary命令确认M-LAG状态正常。

d.     通过interface range方式将新业务板的其它业务口批量开启。对于M-LAG接口，本过程涉及的流量切换丢包时间在150ms以内。

e.     分别执行display counters rate inbound、display counters rate outbound查看新业务板业务口流量转发是否正常。

f.     执行save命令保存配置。

1.7.4  待替换主控板上存在Keepalive链路端口（双主控环境，管理口作keepalive链路端口）

(1)     在设备上配置黑洞路由（100.1.102.21x为控制器IP）使设备与控制器断开连接。

ip route-static vpn-instance MGMT 100.1.102.212 32 NULL 0

ip route-static vpn-instance MGMT 100.1.102.213 32 NULL 0

ip route-static vpn-instance MGMT 100.1.102.214 32 NULL 0

(2)     保存配置后拔出待替换主控板。

(3)     插入新主控板，并为新主控板连接线缆。

(4)     执行display system stable state命令查看新主控板状态是否稳定。

(5)     新主控板状态稳定之后执行display m-lag summary命令确认M-LAG状态正常。

(6)     执行undo ip route-static命令删除指向控制器的黑洞路由，恢复与控制器的连接。

(7)     执行save命令保存配置。

1.8  Leaf扩容操作指导

 

(1)     将新设备安装到机柜，为新设备上电并指定版本文件启动。请注意设备启动后先不要连接线缆。

(2)     参考已有M-LAG设备的配置对新设备进行配置。配置新设备时请参考如下指导：

¡     建议采用复制已有M-LAG设备配置文件，然后修改差异的方式生成新设备的配置文件。本文所列举的差异仅供参考，请根据实际业务配置评估两台M-LAG设备的配置差异。

¡     M-LAG系统配置两台M-LAG成员设备配置存在差异，请注意在新设备上处理：

-     m-lag system-number：两台成员设备需要配置不同的系统编号。

-     m-lag role priority：建议将新设备配置为M-LAG备设备，可通过m-lag role priority命令配置设备的角色优先级，优先级值小的为主设备。

-     m-lag keepalive：两台M-LAG设备的Keepalive报文目的地址和源地址根据实际情况配置。

-     evpn m-lag local：本地VTEP地址和远端VTEP地址根据实际情况配置。

-     vxlan default-decapsulation:如果本端接收到的VXLAN报文的目的地址为指定源接口的IPv4地址，则本端会解封装该报文，根据实际情况配置为新设备接口。

-     m-lag mad exclude interface、m-lag mad include interface根据实际情况配置为新设备接口。

¡     三层接口地址、Router ID、BGP对等体地址等根据新设备实际情况修改。

¡     如下硬件资源模式类配置请与已有M-LAG设备配置一致，完成配置后可以执行display hardware-resource命令检查配置。硬件资源模式类配置需要重启设备生效。

-     hardware-resource switch-mode：配置MAC地址表、ARP表/ND表、路由表的硬件资源模式。

-     hardware-resource routing-mode ipv6-128：开启前缀大于64位的IPv6路由功能。

-     hardware-resource vxlan：配置VXLAN的硬件资源模式。

上述命令的支持情况与设备型号有关，请以设备的实际情况为准。

¡     完成配置请执行save命令保存配置。

(3)     新设备所有待连线端口执行shutdown命令关闭端口，包括管理用以太网接口。

(4)     为新设备连接线缆。

(5)     新设备载入业务，请按如下步骤操作：

a.     如果新设备已被控制器纳管，需要先配置如下黑洞路由（100.1.102.21x为控制器IP）使设备与控制器断开连接。

ip route-static vpn-instance MGMT 100.1.102.212 32 NULL 0

ip route-static vpn-instance MGMT 100.1.102.213 32 NULL 0

ip route-static vpn-instance MGMT 100.1.102.214 32 NULL 0

b.     peer-link链路接口执行undo shutdown命令开启接口。

c.     在新设备上执行display m-lag summary命令确认M-LAG状态正常，确保扩容设备为M-LAG备设备。

d.     Keepalive链路接口（管理用以太网接口）执行undo shutdown命令开启接口，并执行display m-lag summary命令确认M-LAG状态正常。

e.     连接Spine设备的上行接口执行undo shutdown命令开启接口。

f.     查看路由邻居是否正常，请根据具体路由协议选择相应的命令查看。

命令	描述
display ospf peer	查看OSPF邻居信息
display ospfv3 peer	查看OSPFv3邻居信息
display bgp peer ipv4	查看BGP IPv4对等体信息
display bgp peer ipv6	查看BGP IPv6对等体信息
display bgp peer l2vpn evpn	显示BGP EVPN对等体或对等体组的信息
display isis peer	查看ISIS邻居信息

 

g.     下行链路接口执行undo shutdown命令开启接口，并执行display m-lag summary命令确认M-LAG状态正常。

h.     在有控制器的环境，执行undo ip route-static命令删除指向控制器的黑洞路由，恢复与控制器的连接。本操作不会影响现有其它业务。

i.     执行save命令保存配置。