H3C S6860系列以太网交换机故障处理手册

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

资料版本：6W100-20180605

 

Copyright © 2018 新华三技术有限公司 版权所有，保留一切权利。 非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部， 并不得以任何形式传播。本文档中的信息可能变动，恕不另行通知。

 

目  录

1 简介

1.1 故障处理注意事项

1.2 收集设备运行信息

2 硬件类故障处理

2.1 运行过程中设备异常重启故障处理

2.2 电源运行中上报Fault问题处理方法

2.3 新插入电源模块状态异常处理方法

2.4 风扇状态异常处理方法

2.5 故障诊断命令

3 ACL相关特性故障处理

3.1 ACL下发失败故障处理

4 IRF相关特性故障处理

4.1 IRF建立不成功故障处理

4.2 故障诊断命令

5 聚合相关特性故障处理

5.1 聚合不成功故障处理

6 端口相关故障处理

6.1 光口（万兆SFP+口、40GE的QSFP+口、100G的QSFP28口）不UP故障处理

6.2 电口（1/10GBase-T万兆电口）不UP故障处理

6.3 光模块上报非H3C合法光模块故障处理

6.4 光模块不支持数字诊断故障处理

6.5 端口存在CRC等错误统计故障处理

6.6 端口不接收报文故障处理

6.7 端口不发送报文故障处理

7 EVPN综合组网故障处理

7.1 无法建立EBGP/IBGP邻居

7.2 报文不能进行ECMP转发

7.3 BGP邻居建立正常，但是VXLAN隧道不能自动创建

7.4 EVPN隧道建立正常，但是三层报文转发不成功

7.5 故障诊断命令

8 系统类故障处理

8.1 CPU占用率高问题处理方法

8.2 内存占用率高问题处理方法

8.3 故障诊断命令

9 其它常见故障处理

9.1 二层流量转发丢包

9.2 三层转发丢包故障

9.3 协议震荡故障处理

 

1 简介

本文档介绍S6860系列以太网交换机软、硬件常见故障的诊断及处理措施。

本文档不严格和具体的软硬件版本对应。

1.1  故障处理注意事项

 

在进行故障诊断和处理时，请注意以下事项：

·     设备出现故障时，请尽可能全面、详细地记录现场信息（包括但不限于以下内容），收集信息越全面、越详细，越有利于故障的快速定位。

¡     记录具体的故障现象、故障时间、配置信息。

¡     记录完整的网络拓扑，包括组网图、端口连接关系、故障位置。

¡     收集设备的日志信息和诊断信息（收集方法见1.2  收集设备运行信息）。

¡     记录设备故障时指示灯的状态，或给现场设备拍照记录。

¡     记录现场采取的故障处理措施（比如配置操作、插拔线缆、手工重启设备）及实施后的现象效果。

¡     记录故障处理过程中配置的所有命令行显示信息。

·     更换和维护设备部件时，请佩戴防静电手腕，以确保您和设备的安全。

·     故障处理过程中如需更换硬件部件，请参考与软件版本对应的版本说明书，确保新硬件部件和软件版本的兼容性。

1.2  收集设备运行信息

 

设备运行过程中会产生logfile、diagfile日志信息及记录设备运行状态的诊断信息。这些信息存储在主设备的Flash，可以通过FTP、TFTP、USB等方式导出。

如果设备运行过程中发生过主从倒换，则日志文件将保存在设备多个成员设备中，不同成员设备中导出的logfile、diagfile、诊断信息文件请按照一定规则存放（如不同的文件夹：slotY），避免不同成员设备的运行信息相互混淆，以方便查询。

表1-1 设备运行信息介绍

分类	文件名	内容
logfile日志	logfile.log	设备运行中执行的命令行、发生的事件、状态的变化等信息
diagfile日志	diagfile.log	设备运行中产生的诊断日志信息，如系统运行到错误流程时的参数值、设备无法启动时的信息、成员设备之间通信异常时的握手信息
诊断信息	XXX.tar.gz	系统当前多个功能模块运行的统计信息，包括设备状态、CPU状态、内存状态、配置情况、软件表项、硬件表项等

 

1.2.1  收集logfile日志

(1)     执行logfile save命令将日志文件缓冲区中的内容全部保存到日志文件中。日志文件缺省存储在Flash的logfile目录中。

<Sysname> logfile save

The contents in the log file buffer have been saved to the file flash:/logfile/logfile.log

(2)     查看各成员设备中日志文件名称。

·     查看主设备logfile日志：

<Sysname> dir flash:/logfile/

Directory of flash:/logfile

   0 -rw-       21863 Jul 11 2013 16:00:37   logfile.log

 

524288 KB total (134600 KB free)

·     查看从设备（slot 2）上的logfile日志：

<Sysname> dir slot2#flash:/logfile/

Directory of slot2#flash:/logfile

   0 -rw-       21863 Jul 11 2013 16:00:37   logfile.log

 

524288 KB total (134600 KB free)

(3)     使用FTP、TFTP或者USB接口将日志文件传输到指定位置。

1.2.2  收集diagfile日志

(1)     执行diagnostic-logfile save命令将诊断日志文件缓冲区中的内容全部保存到诊断日志文件中。诊断日志文件缺省存储在Flash的diagfile目录中。

<Sysname> diagnostic-logfile save

The contents in the diagnostic log file buffer have been saved to the file flash:/diagfile/diagfile.log

(2)     查看各成员设备中诊断日志文件的名称。

·     主设备diagfile日志：

<Sysname> dir flash:/diagfile/

Directory of flash:/diagfile

   0 -rw-      161321 Jul 11 2013 16:16:00   diagfile.log

 

524288 KB total (134600 KB free))

·     从设备（slot 2）上的diagfile日志：

<Sysname> dir slot2#flash:/diagfile/

Directory of slot2#flash:/diagfile

   0 -rw-      161321 Jul 11 2013 16:16:00   diagfile.log

 

524288 KB total (134600 KB free)

(3)     使用FTP、TFTP或者USB接口将日志文件传输到指定位置。

1.2.3  收集诊断信息

诊断信息可以通过两种方式收集：将诊断信息保存到文件，或者将诊断信息直接显示在屏幕上。为保证信息收集的完整性，建议您使用将诊断信息保存到文件的方式收集诊断信息。

需要注意的是，成员设备越多，诊断信息收集的时间越长，信息收集期间不能输入命令，请耐心等待。

 

(1)     执行display diagnostic-information命令收集诊断信息。

<Sysname> display diagnostic-information

Save or display diagnostic information (Y=save, N=display)? [Y/N] :

(2)     选择将诊断信息保存至文件中，还是将直接在屏幕上显示

·     输入“Y”，以及保存诊断信息的路径和名称，将诊断信息保存至文件中。

Save or display diagnostic information (Y=save, N=display)? [Y/N] : Y

Please input the file name(*.tar.gz)[flash:/diag_Sysname_20160101-000704.tar.gz] :

Diagnostic information is outputting to flash:/diag_Sysname_20160101-000704.tar.gz.

Please wait...

Save successfully.

<Sysname> dir flash:/

Directory of flash:

……

   6 -rw-      898180 Jun 26 2013 09:23:51   diag.tar.gz

 

524288 KB total (134600 KB free)

·     输入“N”，将诊断信息直接显示在屏幕上。（诊断信息的显示随设备型号和版本不同有所差异，请以实际情况为准）

Save or display diagnostic information (Y=save, N=display)? [Y/N] :N

===============================================

  ===============display clock===============

23:49:53 UTC Tue 01/01/2016

=================================================

其它显示信息略……。

(3)     查看诊断信息文件内容。

·     解压诊断信息文件。

<Sysname> tar extract archive-file diag_Sysname_20160101-000704.tar.gz

Extracting archive flash:/diag_Sysname_20160101-000704.tar.gz Done.

<Sysname> gunzip diag_Sysname_20160101-000704.gz

Decompressing file flash:/diag_Sysname_20160101-000704.gz.... Done.

·     查看解压后的诊断信息文件内容。

<Sysname> more diag_Sysname_20160101-000704

===============================================

  ===============display clock===============

23:49:53 UTC Tue 01/01/2016

=================================================

---- More ----

2 硬件类故障处理

 

2.1  运行过程中设备异常重启故障处理

2.1.1  故障描述

设备在使用中发生异常重启。

2.1.2  故障处理流程

故障诊断流程图

 

2.1.3  故障处理步骤

1. 收集设备诊断信息

设备重启后查看是否能够进入命令行模式，使用display diagnostic-information命令收集设备的诊断信息，待收集完成后，将设备信息导出后发给H3C技术支持寻求帮助。

2. 检查设备上的启动文件是否正常

通过Console口登录故障设备，再次重启设备，如果BootWare提示CRC错误或者找不到启动文件，请使用BootWare菜单重新下载启动文件，并设置该文件为当前启动文件（在BootWare加载过程中，BootWare能自动将该文件设置为当前启动文件）。

3. 寻求技术支持

如果上述检查完成后故障仍无法排除，请联系H3C的技术支持工程师。

2.2  电源运行中上报Fault问题处理方法

2.2.1  故障描述

电源运行中上报Fault。

2.2.2  故障处理流程

故障诊断流程图

 

2.2.3  故障处理步骤

1. 检查是否存在Fault或Absent状态的电源模块

使用display power命令显示电源模块状态，查看是否存在Fault或Absent状态的电源模块。

<Sysname> display power

 Slot 1

 Input Power: 70(W)                                                            

 PowerID State         Mode   Current(A)  Voltage(V)  Power(W)  FanDirection   

 1       Normal        AC        5.97       11.85        70     PortToPower    

 2       Absent        --        --          --          --     --

如果存在Absent状态的电源模块，请前往步骤2。

如果存在Fault状态的电源模块，请前往步骤3。

2. 检查Absent状态电源模块

如果电源模块状态为Absent，表示对应槽位没有在位的电源模块或者电源模块没有安装牢固。

如果电源模块槽位有电源模块在位但显示为Absent，请将电源模块拆卸后重新安装，然后使用display power命令查看对应槽位电源状态是否显示为Normal。如果仍然显示为Absent状态，请更换新电源模块。

如果更换新电源模块后仍然显示为Absent状态，请前往步骤4。

3. 检查Fault状态电源模块

如果电源模块状态为Fault，则表示该电源模块异常，无法供电。

当电源模块没有上电时，该电源模块的运行状态会显示为Fault，此时请为该电源模块上电。

电源处于Fault状态有可能是电源模块本身温度过高导致。如果电源模块上积灰较多可能引起电源模块温度升高。请查看电源模块积灰情况，如果灰尘较多，请清理灰尘，并将电源模块拆卸后重新安装。然后使用display power命令查看对应槽位电源状态是否显示为Normal。如果没有恢复为Normal，请将该电源模块插入其它空闲电源模块槽位并查看电源状态是否为Normal。如果该电源模块仍然显示为Fault状态，请更换电源模块。

如果更换新电源模块后仍然显示为Fault状态，请前往步骤4。

4. 寻求技术支持

如果上述检查完成后故障仍无法排除，请联系H3C的技术支持工程师。

2.3  新插入电源模块状态异常处理方法

2.3.1  故障描述

新插入电源模块状态异常。

2.3.2  故障处理流程

故障诊断流程图

 

2.3.3  故障处理步骤

1. 查看电源模块状态

使用display power命令查看电源模块状态。

<Sysname> display power

 Slot 1

Input Power: 70(W)                                                            

 PowerID State         Mode   Current(A)  Voltage(V)  Power(W)  FanDirection   

 1       Normal        AC        5.97       11.85        70     PortToPower    

 2       Absent        --        --          --          --     --

如果该电源模块显示为Absent状态，请前往步骤2。

如果该电源模块显示为Fault状态，请前往步骤3。

2. 检查Absent状态电源模块

如果该电源模块显示为Absent状态，表示电源模块没有安装牢固。请将该电源模块拆卸后重新安装，然后查看对应槽位电源状态是否显示为Normal。如果仍然显示为Absent状态，请将该电源模块插入其它空闲电源模块槽位并查看对应槽位电源状态是否为Normal状态。如果仍然显示为Absent状态，请前往步骤4。

3. 检查Fault状态电源模块

如果该电源模块显示为Fault状态，表示该模块异常，无法供电。请将该电源模块插入其它空闲电源模块槽位并查看对应槽位电源状态是否为Normal状态。如果仍然显示为Fault状态，请前往步骤4。

4. 寻求技术支持

如果上述检查完成后故障仍无法排除，请联系H3C的技术支持工程师。

2.4  风扇状态异常处理方法

2.4.1  故障描述

风扇模块运行中上报Fault或执行display fan命令，风扇的状态不是Normal。

2.4.2  故障处理流程

风扇异常故障处理流程图

 

2.4.3  故障处理步骤

1. 查看风扇模块状态

使用display fan命令查看风扇模块状态。

<Sysname> display fan

Slot 1:                                                                       

 Fan 1:                                                                        

 State    : Normal                                                             

 Airflow Direction: Power-to-port                                              

 Prefer Airflow Direction: Power-to-port                                       

 Fan 2:                                                                        

 State    : Normal                                                             

 Airflow Direction: Power-to-port                                              

 Prefer Airflow Direction: Power-to-port                                       

 Fan 3:                                                                        

 State    : Normal                                                             

 Airflow Direction: Power-to-port                                              

 Prefer Airflow Direction: Power-to-port                                       

 Fan 4:                                                                        

 State    : Normal                                                             

 Airflow Direction: Power-to-port                                              

 Prefer Airflow Direction: Power-to-port                                       

 Fan 5:                                                                        

 State    : Normal                                                              

 Airflow Direction: Power-to-port                                              

 Prefer Airflow Direction: Power-to-port

·     如果风扇模块工作状态显示为FanDirectionFault，表示风扇的实际风道方向与配置的期望风道风向不一致，请根据机房的风向重新安装正确风向的风扇或使用fan prefer-direction命令配置正确的期望风道风向。

·     如果风扇模块工作状态显示为Absent，请前往步骤2。

·     如果风扇模块工作状态显示为Fault，请前往步骤3。

·     S6860-54HT是5个风扇，S6860-30HF和S6860-54HF是4个风扇

2. 检查风扇模块是否安装牢固

如果风扇模块工作状态显示为Absent状态，表示风扇模块不在位或者没有安装牢固。如果风扇模块在位，请将该风扇模块拆卸后重新安装，然后查看风扇模块状态是否显示为Normal状态。如果仍然显示为Absent状态，请更换风扇模块。如果更换新风扇模块后仍然显示为Absent状态，请前往步骤4。

3. 检查设备的工作温度信息

如果风扇模块工作状态显示为Fault状态，表示该风扇模块异常，无法提供通风散热功能。请使用下述步骤进一步定位。

(1)     使用display environment命令查看系统温度是否持续升高。如果系统温度持续升高，建议用手在设备出风口触摸进一步判断出风口是否有出风。

(2)     如果温度持续升高，且出风口无风，可以肯定风扇模块异常。请将风扇模块拆卸后重新安装，然后使用display fan命令查看是否恢复为Normal状态。

(3)     如果仍然不能恢复为Normal状态，请更换该风扇模块。如果现场没有风扇模块，不能立即更换，请关闭设备以免温度过高导致电路烧坏（如果有降温措施保证系统工作在60摄氏度以下，也可以继续使用设备）。

(4)     如果更换新的风扇模块仍然不能恢复为Normal状态，请前往步骤4。

4. 寻求技术支持

如果上述检查完成后故障仍无法排除，请联系H3C的技术支持工程师。

2.5  故障诊断命令

命令	说明
dir	用来显示目录或文件信息
display boot-loader	用来显示启动软件包的信息
display environment	显示设备的工作温度信息
display fan	显示设备风扇模块的工作状态
display logbuffer	用来显示系统日志缓冲区记录的日志信息
display power	显示设备电源的信息
fan prefer-direction slot slot-number { power-to-port | port-to-power }	配置用户期望的风扇模块的风道方向

 

3 ACL相关特性故障处理

3.1  ACL下发失败故障处理

3.1.1  故障描述

用户下发ACL失败，具体分两种失败情况：

·     执行下发命令后设备提示资源不足。

·     执行下发命令后设备无任何错误提示，但ACL不起作用。

3.1.2  故障处理流程

ACL下发失败故障诊断流程图

 

3.1.3  故障处理步骤

1. 查看下发时是否报硬件资源不足

下发ACL配置时如果界面打印出“Reason: Not enough hardware resource”字样，则表明ACL下发失败是由硬件资源不足导致。通过display qos-acl resource命令可以进一步确认ACL硬件资源使用情况。如果显示信息中Remaining条目为0了，则表示ACL硬件资源已用尽，设备无法再下发ACL。如果下发时没有报“Reason: Not enough hardware resource”字样，则根据下发方式进行步骤选择：

·     通过MQC（QoS策略）方式下发，请进行步骤2：

·     通过包过滤（packet-filter）方式下发，请进行步骤3。

2. 检查QoS策略配置是否正确

通过下面命令分别检查不同使用情况下QoS策略的配置情况：

·     显示以太网服务实例QoS 策略配置信息，display qos policy l2vpn-ac

·     显示端口上QoS 策略配置信息，display qos [ accounting | remarking ] policy interface

·     显示VLAN上QoS 策略配置信息，display qos vlan-policy

·     显示全局QoS策略配置信息，display qos policy global

·     显示控制平面上QoS策略配置信息，display qos policy control-plane

·     显示用户上线后User Profile下应用的QoS策略配置信息，display qos policy user-profile

·     显示VSI上QoS策略的配置信息和运行情况，display qos policy vsi

如果QoS策略中缺少流分类和流行为关联的配置，则补充相应配置。否则可通过以下两个命令分别检查下QoS策略中的类和流行为是否配置正确。

·     显示配置的类信息，display traffic classifier user-defined

·     显示配置的流行为信息，display traffic behavior user-defined

如果没有正确配置，则进行正确配置，否则进行步骤4。

3. 检查packet-filter配置是否正确

可以通过display packet-filter命令检查packet-filter配置是否正确，如果不正确，则进行正确配置，否则进行步骤4

4. 检查ACL配置是否正确

可以通过display acl命令检查ACL是否配置正确，如果不正确，则进行正确配置，否则进行步骤5。

5. 寻求技术支持

如果上述检查完成后故障仍无法排除，请联系H3C的技术支持工程师。

3.1.4  故障诊断命令

设备提供了如下诊断命令，需要注意的是：

命令	说明
display acl	显示ACL的配置和运行情况
display diagnostic-information	显示系统当前多个功能模块运行的统计信息
display packet-filter	显示ACL在报文过滤中的应用情况
display qos-acl resource	显示ACL资源的使用情况
display qos policy l2vpn-ac	显示L2VPN AC承载的以太网服务实例上QoS策略的配置信息和运行情况
display qos policy diagnosis l2vpn-ac	显示L2VPN AC上QoS策略的诊断信息
display qos [ accounting | remarking ] policy interface	显示指定端口或所有端口上QoS策略的配置信息和运行情况
display qos [ accounting | remarking ] policy diagnosis interface	显示接口上QoS策略的诊断信息
display qos vlan-policy	显示基于VLAN应用QoS策略的信息
display qos vlan-policy diagnosis	显示基于VLAN应用QoS策略的诊断信息
display qos policy global	显示基于全局应用QoS策略的信息
display qos policy diagnosis global	显示基于全局应用QoS策略的诊断信息
display qos policy control-plane	显示控制平面应用QoS策略的信息
display qos policy diagnosis control-plane	显示控制平面应用QoS策略的诊断信息
display qos policy user-defined [ accounting | remarking ]	显示QoS策略的配置信息
display traffic classifier user-defined	显示配置的类信息
display traffic behavior user-defined	显示配置的流行为信息
display qos policy user-profile	显示用户上线后User Profile下应用的QoS策略配置信息
display qos policy vsi	显示VSI上QoS策略的配置信息和运行情况
display qos policy diagnosis user-profile	显示用户上线后User Profile下应用的QoS策略的诊断信息
display qos policy diagnosis vsi	显示VSI的QoS策略的诊断信息

 

4 IRF相关特性故障处理

4.1  IRF建立不成功故障处理

4.1.1  故障描述

用户规划IRF后，尝试将多台设备配置为一个IRF系统，发现没有成功建立IRF。

4.1.2  故障处理流程

IRF故障处理流程图

 

4.1.3  故障处理步骤

1. IRF中的成员数量是否已达到支持的最大值

通过display irf命令可以查看当前IRF中的成员个数，如果当前IRF成员数目已经达到支持的最大值，则其它设备不能再加入该IRF。

2. 成员设备之间是否支持组建IRF

本系列交换机仅支持与同系列的机型建立IRF。

3. IRF中各成员的编号是否唯一

执行display irf命令可以查看到IRF中各成员的编号，如果新增设备的编号与IRF中现有成员设备的编号相同，则新增设备无法加入IRF；如果两台IRF中的设备具有相同的成员编号，则将导致IRF合并失败。

4. 物理连接是否正确

根据IRF规划进行线路检查，检查物理线路是否完全按照规划进行连接。通过display irf configuration命令可以查看当前设备上的IRF端口配置，其中一台设备的IRF-Port1端口必须与另外一台设备的IRF-Port2端口相连才能建立IRF，否则IRF建立失败。

5. 连接线缆类型及速率是否正确

本系列交换机的10GBase-T以太网端口、SFP+口、QSFP+口或QSFP28口都支持作为IRF物理端口。

如果使用的是10GBase-T以太网端口作为IRF物理端口，请检查双绞线是否为6A及以上级别的双绞线。

如果使用的是SFP+口作为IRF物理端口，请检查插入IRF物理端口的线缆或光模块是否带有10Gbps、SFP+标记。使用光模块+光纤的连接方式时，请查看链路两端的光模块型号是否一致，光纤是否连接正确。

如果使用的是QSFP+口作为IRF物理端口，请检查插入IRF物理端口的线缆或光模块是否带有40Gbps、QSFP+标记。使用光模块+光纤的连接方式时，请查看链路两端的光模块型号是否一致，光纤是否连接正确。也可以使用QSFP+ to SFP+电缆建立QSFP口和SFP+之间的10G IRF物理连接。

如果使用的是QSFP28口作为IRF物理端口，请检查插入IRF物理端口的线缆或光模块是否带有100Gbps、QSFP28标记。使用光模块+光纤的连接方式时，请查看链路两端的光模块型号是否一致，光纤是否连接正确。QSFP28口也可以使用QSFP+模块/电缆建立40G IRF连接，但不支持使用QSFP+ to SFP+电缆进行连接。有关QSFP28口的使用方式请参见“二层技术-以太网交换配置指导”中的“以太网接口”。

6. IRF链路状态是否正常

执行display irf topology命令，查看显示信息中的Link字段，可以判断IRF端口的链路状态：

·     如果Link字段显示UP，表示IRF链路状态正常，请执行步骤6。

·     如果Link字段显示DOWN，表示IRF链路状态异常，请执行display irf link命令查看IRF物理端口的状态，注意观察Status字段：

¡     如果与IRF端口绑定的所有IRF物理端口的当前状态均为DOWN或ADM（Administratively DOWN），请检查物理连接状态或使用undo shutdown命令开启该端口，使之变为UP状态。

¡     如果与IRF端口绑定的IRF物理端口中至少有一个处于UP状态，请在保存当前配置后，在系统视图下执行irf-port-configuration active命令来激活IRF端口的配置。

 

7. 各设备上运行的软件版本差异是否过大

用户可通过display version命令查看各设备上运行的软件版本，如果两台设备上使用的软件版本差异过大，则不能组成IRF，出现这种现象时，建议采用将低版本升级到高版本的方式解决。

 

8. 各成员设备上关键功能的配置是否一致

在建立IRF之前，各成员设备上的一些关键功能的配置需要保持一致。这些关键功能包括：

·     系统工作模式（通过system-working-mode命令配置）。

·     表项容量（通过hardware-resource switch-mode命令配置）。

·     最大等价路由条数（通过max-ecmp-num命令配置）。

·     等价路由模式（通过ecmp mode命令配置）。

·     前缀大于64位的IPv6路由功能（通过hardware-resource routing-mode命令配置）。

·     OpenFlow的无丢包模式开启状态（通过openflow lossless enable命令配置）。

·     VXLAN的硬件资源模式（通过hardware-resource vxlan命令配置）

9. 寻求技术支持

如果上述检查完成后故障仍无法排除，请联系H3C的技术支持工程师。

4.2  故障诊断命令

命令	说明
display version	显示系统版本信息
display irf	显示本IRF的相关信息
display irf topology	显示IRF的拓扑信息
display irf configuration	显示本IRF中所有设备的配置信息
irf-port-configuration active	激活设备上所有IRF端口下的配置

 

5 聚合相关特性故障处理

5.1  聚合不成功故障处理

5.1.1  故障描述

用户配置链路聚合功能后，发现聚合组中的成员端口不能被选中，聚合失败。

5.1.2  故障处理流程

聚合不成功故障处理流程图

 

5.1.3  故障处理步骤

1. 物理连线是否正确

根据聚合规划进行线路检查，检查物理链接线路是否完全按照规划进行连接。

2. 聚合组中成员端口是否UP

通过display interface命令查看聚合组中的成员端口是否处于UP状态，如果没有UP，可按照端口不UP故障流程处理，具体请参见端口相关故障处理。

3. 本端口的操作key和属性类配置与参考端口是否相同

在本设备上通过执行display current-configuration interface查看聚合接口及本端Unselected端口（通过display link-aggregation verbose命令查看端口是否为Selected状态，只有Selected状态的端口才可以在该聚合组中正常工作）的操作key和属性类配置与参考端口是否相同，如果不同，则将其配置相同。

4. 是否为动态聚合

若不是动态聚合，则直接到步骤6，否则进行步骤5。

5. 本端口的对端端口的操作key和属性类配置与参考端口的对端端口是否相同

在与本端Unselected端口相连接设备上执行display current-configuration interface命令查看对端Unselected端口的属操作key和属性类配置与参考端口的对端端口是否相同，如果不同，则将其配置相同。

6. 聚合成员端口数量是否超过上限

可在聚合接口视图下通过link-aggregation selected-port maximum命令配置聚合组中的最大选中端口数。通过display link-aggregation verbose命令查看聚合组中成员端口是否超过上限，如果超过上限，则多出来的端口为Unselected状态。Selected端口按照端口编号从小到大排序，可以在成员端口视图下使用undo port link-aggregation group命令将Selected端口中不适用的端口从聚合组中删除，以使必须使用的端口为Selected状态。

7. 寻求技术支持

如果上述检查完成后故障仍无法排除，请联系H3C的技术支持工程师。

5.1.4  故障诊断命令

命令	说明
display current-configuration interface	显示接口当前生效的配置
display interface	显示以太网接口的相关信息
display link-aggregation verbose	显示系统上已有聚合接口所对应的聚合组的详细信息
link-aggregation selected-port maximum	配置聚合组中的最大选中端口数

 

6 端口相关故障处理

6.1  光口（万兆SFP+口、40GE的QSFP+口、100G的QSFP28口）不UP故障处理

6.1.1  故障描述

光口（万兆SFP+口、40GE的QSFP+口、100G的QSFP28口）不UP故障。

6.1.2  故障处理流程

光口不UP故障处理流程图

 

6.1.3  故障处理步骤

1. 检查两端端口的速率，双工模式是否匹配

执行display interface brief命令，查看两端端口的速率、双工配置是否匹配。若不匹配，请通过speed命令和duplex命令配置端口的速率和双工模式。

2. 检查端口与光模块的速率，双工模式是否匹配

执行display interface brief命令，查看端口与光模块的速率、双工配置是否匹配。若不匹配，请通过speed命令和duplex命令配置端口的速率和双工模式。

3. 检查两端端口是否正常

对于万兆SFP+光口，在本设备上的万兆SFP+端口上用万兆SFP+电缆（适用于短距离连接）直接互连；对于40GE的QSFP+端口用QSFP+电缆（适用于短距离连接）直接互连；对于100GE的QSFP28端口用QSFP28电缆（适用于短距离连接）直接互连。查看该端口是否能UP。如果能UP，则说明对端端口异常；如果不能UP，则说明本端端口异常。可通过更换本端、对端端口来检查故障是否解决。

4. 检查光模块、电缆是否正常

可通过如下步骤检查光模块是否正常，若不正常可通过更换与光接口匹配的光模块（请使用H3C光模块、电缆）来检查故障是否排除。关于光模块、电缆的具体描述请参见产品的安装手册。

(1)     可通过display transceiver alarm interface命令，查看当前端口上的光模块的故障告警信息，若显示为“None”，则表示没有故障；若显示有告警信息，则表示该光模块有故障或该模块与光接口类型不匹配。

(2)     可使用光功率计测试端口收发光功率是否在正常范围内，是否稳定。

(3)     可通过display transceiver interface命令，检查两端的光模块波长、距离等参数是否一致。

需要注意的是，对于40GE的QSFP+光口，如果使用QSFP+ to SFP+电缆连接时，由于QSFP+光模块发送光功率超过了SFP+模块要求接收的光功率上限，在使用时需要加光衰。

5. 检查光纤是否正常

首先要确定光纤与光模块是否匹配。如果不匹配，可通过更换光纤来检查故障是否排除，关于光纤的具体描述请参见产品的安装手册。

6. 寻求技术支持

如果上述检查完成后故障仍无法排除，可通过display diagnostic-information命令收集设备的diagnostic-information，联系H3C的技术支持工程师。

<Sysname> display diagnostic-information

Save or display diagnostic information (Y=save, N=display)? [Y/N]:Y

6.1.4  故障诊断命令

命令	说明
display diagnostic-information	显示或保存系统当前多个功能模块运行的统计信息
display interface brief	显示端口的概要信息
display transceiver alarm interface	显示可插拔接口模块的当前故障告警信息
display transceiver interface	显示接口上插入的可插拔接口模块的主要特征参数

 

6.2  电口（1/10GBase-T万兆电口）不UP故障处理

6.2.1  故障描述

电口（1/10GBase-T万兆电口）不UP故障。

6.2.2  故障处理流程

电口不UP故障诊断流程图

 

6.2.3  故障处理步骤

1. 检查两端端口的速率，双工模式是否匹配

执行display interface brief命令，查看两端端口的速率、双工配置是否匹配。若不匹配，请通过speed命令和duplex命令配置端口的速率和双工模式。

2. 检查链路情况，网线是否正常

可通过更换网线来检查故障是否排除。

3. 检查本端端口是否正常

可通过更换本端设备端口来检查故障是否排除。

4. 检查对端端口是否正常

可通过更换对端设备端口来检查故障是否排除。

5. 寻求技术支持

如果上述检查完成后故障仍无法排除，请联系H3C的技术支持工程师。

6.2.4  故障诊断命令

命令	说明
display interface brief	显示以太网端口的概要信息

 

6.3  光模块上报非H3C合法光模块故障处理

6.3.1  故障描述

通过display logbuffer命令查看系统日志时，发现存在上报非H3C合法光模块的相关信息。显示如下：

<Sysname> display logbuffer

   FortyGigE1/0/5: This transceiver is NOT sold by H3C. H3C  therefore shall NOT guarantee the normal function of the device or  assume the maintenance responsibility thereof!

6.3.2  故障处理流程

故障诊断流程图

 

6.3.3  故障处理步骤

1. 检查接口上插入的光模块厂家是否是H3C

通过命令display transceiver interface，查看Vendor Name是否是H3C。如果显示的是H3C，则可能是没有电子标签的H3C光模块，也可能不是H3C光模块，需要进一步确认。如果显示的是其它信息，则一定不是H3C光模块，可通过更换为H3C光模块来检查故障是否排除。

[Sysname] display transceiver interface fortygige 1/0/1

FortyGigE 1/0/1 transceiver information:

  Transceiver Type              : 40G_BASE_LR4_QSFP_PLUS

  Connector Type                : LC

  Wavelength(nm)                : 1301

  Transfer Distance(km)         : 10(SMF)

  Digital Diagnostic Monitoring : YES

  Vendor Name                   : H3C

  Ordering Name                 : QSFP-40G-LR4-WDM1300

2. 与H3C的技术支持工程师确认是否是H3C光模块

通过Probe视图下的命令display hardware internal transceiver register interface收集光模块信息。

然后向H3C技术支持工程师反馈光模块上的条码，确认光模块的渠道来源，明确是否是H3C光模块。如果确认不是H3C光模块，可通过更换为H3C光模块来检查故障是否排除。

3. 寻求技术支持

如果上述检查完成后确认是H3C光模块，但故障仍无法排除，请联系H3C的技术支持工程师。

6.4  光模块不支持数字诊断故障处理

6.4.1  故障描述

通过display transceiver diagnosis interface命令查看光模块诊断信息时，系统提示光模块不支持数字诊断故障。显示如下：

<Sysname> display transceiver diagnosis interface fortygige 1/0/1

The transceiver does not support this function.

6.4.2  故障处理流程

故障诊断流程图

 

6.4.3  故障处理步骤

1. 检查光模块是否是H3C光模块

(1)     通过display transceiver interface命令，查看Vendor Name是否是H3C。

(2)     通过display transceiver manuinfo interface命令，确认光模块的渠道来源，向H3C返回光模块上的条码，收集光模块的信息，明确是否是H3C光模块。

2. 查看光模块是否支持数字诊断功能

通过display transceiver interface命令，查看Digital Diagnostic Monitoring（对数字诊断功能的支持情况）是否是Yes，并向H3C人员咨询这款光模块是否支持数字诊断功能。

<Sysname> display transceiver interface fortygige 1/0/1

FortyGigE 1/0/1 transceiver information:

  Transceiver Type              : 40G_BASE_LR4_QSFP_PLUS

  Connector Type                : LC

  Wavelength(nm)                : 1301

  Transfer Distance(km)         : 10(SMF)

  Digital Diagnostic Monitoring : YES

  Vendor Name                   : H3C

  Ordering Name                 : QSFP-40G-LR4-WDM1300

3. 寻求技术支持

如果上述检查完成后确认是H3C光模块，并支持数字诊断功能，但故障仍无法排除，通过display diagnostic-information命令收集设备的diagnostic-information后，请联系H3C的技术支持工程师。

<Sysname> display diagnostic-information

Save or display diagnostic information (Y=save, N=display)? [Y/N]:Y

6.5  端口存在CRC等错误统计故障处理

6.5.1  故障描述

通过display interface查看到端口存在CRC等错误统计故障。

6.5.2  故障处理流程

故障诊断流程图

 

6.5.3  故障处理步骤

1. 查看错误报文统计信息从而判断故障问题

通过display interface命令，查看端口出入方向的错包统计具体是哪项在增长，从而判断故障问题。为方便查看，也可以在用户视图下使用reset counter interface清空端口统计报文再观察。

2. 若是光口,请检查光模块的光功率是否正常

通过display transceiver diagnosis interface查看光口所插光模块的数字诊断参数的当前测量值。若该光模块的光功率不正常，请更换同一型号的正常光模块。

[Sysname] display transceiver diagnosis interface fortygige 1/0/1

FortyGigE1/0/1 transceiver diagnostic information:

  Current diagnostic parameters:

    Temp.(°C) Voltage(V)  Bias(mA)  RX power(dBm)  TX power(dBm)

    43         3.31        6.23      -6.50          -2.15

  Alarm thresholds:

          Temp(°C)  Voltage(V)  Bias(mA)  RX power(dBM)  TX power(dBM)

    High   75         -63        10.50       2.00           1.50

    Low    -5         2.97        2.00      -13.90         -11

3. 检查端口配置是否正常

通过display interface brief命令，查看端口配置是否有异常，其中两端的协商状态双工模式，端口速率是否一致。若端口速率不一致或存在半双工模式，请通过speed命令和duplex命令分别配置端口的速率和双工模式。

4. 检查端口及链路介质是否正常

更换到其它端口看是否存在相同现象。如果存在相同现象，检查互连中间链路设备（光转，转接架，传输等设备）及传输介质（网线，光纤，光模块等）是否正常。如果为电口，使用PC替代对接。如果为光口，可更换光模块测试。

5. 检查端口是否收到大量流控帧

通过display interface命令，查看端口pauses帧计数，如果在不断增长，表明端口发出或者收到了大量的流控帧。检查下端口出入流量是否过大及对端设备的流量处理能力。

6. 寻求技术支持

如果上述检查完成后确认配置、对端以及链路都没有问题，但故障仍无法排除，通过display diagnostic-information命令收集设备的diagnostic-information后，请联系H3C的技术支持工程师。

<Sysname> display diagnostic-information

Save or display diagnostic information (Y=save, N=display)? [Y/N]:Y

6.6  端口不接收报文故障处理

6.6.1  故障描述

端口状态为UP，但不接收报文。

6.6.2  故障处理流程

故障诊断流程图

 

6.6.3  故障处理步骤

1. 查看端口报文统计结果

检查两端端口状态是否一直UP，并使用display interface 命令查看入方向的报文统计是否增长。为方便查看，也可以使用reset counter interface清空当前端口的报文统计结果再进行观察。同时，查看对端是否有发送报文统计。检查端口错包统计是否持续增长。

2. 检查端口配置是否影响报文的接收

可通过以下步骤检查端口配置是否影响报文的接收：

(1)     通过display interface brief命令，查看端口配置是否有异常。其中包括两端的端口双工模式、端口速率、端口类型以及VLAN等配置。若有异常，请更改端口属性的配置查看该故障端口是否能恢复正常。如果不能，请先执行shutdown命令后，再执行undo shutdown命令，再次查看端口是否能恢复正常。

(2)     如果配置了STP功能，通过display stp brief命令，查看端口是否为 discarding状态。如果端口被STP设置为discarding状态，请根据STP的相关配置进一步排查。H3C建议您将连接终端设备的端口配置为边缘端口或关闭该端口的STP功能。

(3)     如果该端口加入了聚合组，通过display link-aggregation summary命令查看该端口是否为Selected选中状态。当该端口Status为Unselected状态时，该端口无法收发数据报文。请定位端口成为Unselected状态的原因，如聚合组内成员端口的属性类配置与参考端口不一致，进一步排查解决。

3. 检查端口及链路介质是否正常

更换连接到其它端口看是否存在相同现象。如果存在相同现象，检查互连中间链路设备（光转，转接架，传输等设备）及传输介质（网线，光纤，光模块等）是否正常。如果为电口，使用PC替代对接。如果为光口，可更换光模块测试。

4. 寻求技术支持

如果上述检查完成后确认配置、对端以及链路都没有问题，但故障仍无法排除，通过display diagnostic-information命令收集设备的diagnostic-information后，请联系H3C的技术支持工程师

<Sysname> display diagnostic-information

Save or display diagnostic information (Y=save, N=display)? [Y/N]:Y

6.7  端口不发送报文故障处理

6.7.1  故障描述

端口状态为UP，但不发送收报文。

6.7.2  故障处理流程

故障诊断流程图

 

6.7.3  故障处理步骤

1. 查看端口报文统计结果

检查两端端口状态是否一直UP，并使用display interface 命令查看出方向的报文统计是否增长。为方便查看，也可以使用reset counter interface命令清空端口当前的报文统计结果再进行观察。检查端口错包统计是否持续增长。

2. 检查端口配置是否影响报文的发送

可通过以下步骤检查端口配置是否影响报文的发送：

(1)     通过display interface brief命令，查看端口配置是否有异常。其中包括两端端口的双工模式、端口速率、端口类型以及VLAN等配置。若有异常，请更改端口属性的配置查看该故障端口是否能恢复正常。如果不能，请先执行shutdown命令后，再执行undo shutdown命令，再次查看端口是否能恢复正常。

(2)     如果配置了STP功能，使用display stp brief命令查看故障端口是否为discarding状态。如果端口被STP设置为discarding状态，请根据STP的相关配置进一步排查。H3C建议您将连接终端设备的端口配置为边缘端口或关闭该端口的STP功能。

(3)     如果该端口加入了聚合组，使用display link-aggregation summary命令查看该端口是否为Selected选中状态。当该端口Status为Unselected状态时，该端口无法收发数据报文。请定位端口成为Unselected状态的原因，如聚合组内成员端口的属性类配置与参考端口不一致，进一步排查解决。

3. 检查端口及链路介质是否正常

更换连接到其它端口看是否存在相同现象。如果存在相同现象，检查互连中间链路设备（光转，转接架，传输等设备）及传输介质（网线，光纤，光模块等）是否正常。如果为电口，使用PC替代对接测试。如果为光口，可更换光模块测试。

4. 寻求技术支持

如果上述检查完成后确认配置、对端以及链路都没有问题，但故障仍无法排除，通过display diagnostic-information命令收集设备的diagnostic-information后，请联系H3C的技术支持工程师

<Sysname> display diagnostic-information

Save or display diagnostic information (Y=save, N=display)? [Y/N]:Y

6.7.4  故障诊断命令

命令	说明
display diagnostic-information	显示或保存系统当前多个功能模块运行的统计信息
display interface	显示以太网端口的相关信息
display interface brief	显示接口的概要信息
display link-aggregation summary	显示所有聚合组的摘要信息
display logbuffer	显示系统日志缓冲区的状态和缓冲区记录的日志信息
display stp brief	显示生成树状态和统计的简要信息
display transceiver alarm interface	显示可插拔接口模块的当前故障告警信息
display transceiver diagnosis	显示可插拔光模块的数字诊断参数的当前测量值
display transceiver interface	显示接口上插入的可插拔接口模块的主要特征参数
display transceiver manuinfo interface	显示可插拔接口模块的部分电子标签信息

 

7 EVPN综合组网故障处理

7.1  无法建立EBGP/IBGP邻居

7.1.1  故障描述

EBGP/IBGP邻居状态异常，不能建立邻居。

7.1.2  故障处理流程

故障处理流程图

 

7.1.3  故障处理步骤

1. 检查BGP配置是否正确

通过display bgp peer l2vpn evpn命令检查基础配置是否正确：

·     检查两端配置的AS号是否匹配。如果不匹配，则执行peer as-number命令修改AS号，确保本端设备上配置的对等体的AS号与对等体所在的AS号相同。

·     检查两端的Router ID是否相同。如果相同，则需要执行router-id命令修改其中一端的Router ID。

2. 检查BGP邻居之间的连通性

执行ping命令判断是否可以ping通对端。如果无法ping通，则检查链路是否故障、路由是否可达。

3. 检查设备是否处于内存门限告警状态

通过display memory-threshold命令检查设备的内存情况。设备处于内存门限告警状态时不能建立BGP连接，只有三级门限告警解除10分钟后才能建立BGP连接。如果三级门限告警无法解除，请联系技术支持。

4. 搜集现场信息，联系技术支持

(1)     通过debugging bgp event命令查看无法建立邻居的原因，如本端是否发起连接，连接对端是否成功，连接是否冲突等。

(2)     通过debugging bgp open命令查看Open报文的发送和接收是否出错。

(3)     通过debugging tcp packet命令查看TCP报文是否能够交互成功。

(4)     通过display bgp peer l2vpn evpn verbose命令查看邻居的地址族协商情况，报文收发的历史记录。

(5)     通过display bgp peer l2vpn evpn log-info命令查看邻居的up/down记录，主要观察邻居down的原因。

(6)     通过display system internal bgp peer l2vpn evpn session statistics命令查看会话详细状态。

7.2  报文不能进行ECMP转发

7.2.1  故障描述

EVPN组网中，报文不能通过多条等价路由进行ECMP转发。

7.2.2  故障处理流程

故障处理流程图

 

7.2.3  故障处理步骤

1. 检查是否存在到达同一目的网络的多条路由

通过display bgp l2vpn evpn route-distinguisher route-type ip-prefix命令查看是都存在到达同一目的网络RD相同、下一跳不同的多条路由。如果只有一条路由，则无法进行ECMP；如果存在多条路由，则继续进行以下操作。

2. 检查路由的团体属性和扩展团体属性是否一致

通过display bgp l2vpn evpn route-distinguisher route-distinguisher evpn-route route-length命令查看EVPN路由的详细信息。判断到达同一目的网络的多条路由携带的BGP团体属性和扩展团体属性是否相同。如果不同，则通过配置修改路由的BGP团体属性和扩展团体属性；否则，无法形成ECMP。

3. 检查路由是否携带default-gateway属性

通过display bgp l2vpn evpn route-distinguisher route-distinguisher evpn-route route-length命令查看EVPN路由的详细信息，判断路由中是否携带default-gateway扩展团体属性。若携带该扩展团体属性，则路由之间不能形成ECMP。

4. 检查是否存在其他路由协议的路由

通过display ip routing-table vpn-instance命令查看是否存在其他路由协议生成的到达该目的网络的路由。如果存在，请通过preference命令修改BGP路由的优先级，使得BGP路由优于其他路由协议生成的路由（优先级数值越小表明优先级越高）。

5. 检查是否配置进行BGP负载分担的路由条数

通过display bgp routing-table ipv4 vpn-instance命令查看是否存在相同前缀的多条路由，如果存在多条，但是只有一条为最优路由（带有“>”标记），则执行display current-configuration configuration bgp命令检查BGP-VPN IPv4单播地址族视图下是否配置了balance命令。如果没有配置，则执行balance命令配置进行BGP负载分担的路由条数大于1。

7.3  BGP邻居建立正常，但是VXLAN隧道不能自动创建

7.3.1  故障描述

EVPN组网中，BGP邻居建立正常，但是VXLAN隧道不能自动创建。

7.3.2  故障处理流程

 

7.3.3  故障处理步骤

1. 查看是否接收到EVPN路由

通过display bgp l2vpn evpn命令查看是否接收到EVPN路由信息。如果未查看到EVPN路由信息，则修改VXLAN ID、VPN Target配置；如果接收到EVPN路由信息，则继续进行以下操作。

2. 查看是否存在手工配置的相同源IP与目的IP的隧道

通过display interface tunnel命令查看是否存在手工创建的隧道与动态创建的隧道源IP、目的IP相同的情况。如果存在此情况，请修改隧道相关的配置。

3. 寻求技术支持

如果上述检查完成后故障仍无法排除，请联系H3C的技术支持工程师。

7.4  EVPN隧道建立正常，但是三层报文转发不成功

7.4.1  故障描述

EVPN组网中，VXLAN隧道正常建立，但是报文无法正常转发。

7.4.2  故障处理流程

 

7.4.3  故障处理步骤

1. 检查VXLAN硬件资源是否正确

通过display hardware-resource vxlan命令查看VXLAN的硬件资源模式。如果VXLAN的硬件资源模式不正确，请通过hardware-resource vxlan命令重新配置VXLAN的硬件资源模式，修改VXLAN的硬件资源模式后，只有重启设备，修改后的硬件资源模式才会生效；如果VXLAN的硬件资源模式正确，则继续进行以下操作。

2. 查看是否配置了关联L3VNI的VSI虚接口

通过display evpn routing-table命令查看指定VPN实例是否关联了L3VNI。如果没有关联L3VNI，请通过l3-vni命令配置L3VNI；如果指定VPN实例关联了L3VNI，则继续进行以下操作。

3. 查看是否是分布式EVPN网关

查看VSI虚接口是否是分布式EVPN网关。如果是分布式EVPN网关，则需要在所有网关上为相同VSI虚接口配置相同的接口MAC和IP地址。

4. 寻求技术支持

如果上述检查完成后故障仍无法排除，请联系H3C的技术支持工程师。

7.5  故障诊断命令

命令	说明
display bgp l2vpn evpn	显示BGP EVPN路由信息
display bgp peer l2vpn evpn	显示BGP EVPN对等体的信息
display bgp routing-table ipv4 vpn-instance	显示VPN实例的BGP IPv4单播路由信息
display current-configuration configuration bgp	显示BGP模块的配置信息
display evpn auto-discovery	显示EVPN通过BGP自动发现的邻居信息
display evpn routing-table	显示EVPN的路由表信息
display hardware-resource vxlan	显示VXLAN的硬件资源模式
display interface tunnel	显示Tunnel接口的相关信息
display ip routing-table vpn-instance	显示VPN实例的路由表信息
display memory-threshold	显示内存告警门限相关信息
display system internal bgp peer l2vpn evpn session statistics	显示BGP对等体的统计信息
debugging bgp event	开启BGP的事件调试信息开关
debugging bgp open	开启BGP的Open报文调试信息开关
debugging tcp packet	开启TCP报文调试信息开关

 

8 系统类故障处理

8.1  CPU占用率高问题处理方法

8.1.1  故障描述

设备运行中CPU占用率高。

8.1.2  故障处理流程

故障诊断流程图

 

8.1.3  故障处理步骤

1. 查看CPU占用率

连续使用命令display cpu-usage查看CPU的占用率。如果CPU占用率持续在80％以上，说明某个任务长时间占用CPU，需要确认CPU高的具体原因。

2. 确定CPU占用率高的任务

使用Probe视图下的display process cpu命令观察占用CPU最多的任务。

<Sysname> system-view

[Sysname] probe

[Sysname-probe] display process cpu slot 1

CPU utilization in 5 secs: 3.7%; 1 min: 3.1%; 5 mins: 3.8%

    JID      5Sec      1Min      5Min    Name

      1      0.0%      0.0%      0.0%    scmd

      2      0.0%      0.0%      0.0%    [kthreadd]

      3      0.0%      0.0%      0.0%    [migration/0]

      4      0.0%      0.0%      0.0%    [ksoftirqd/0]

      5      0.0%      0.0%      0.0%    [watchdog/0]

      6      0.0%      0.0%      0.0%    [migration/1]

      7      0.0%      0.0%      0.0%    [ksoftirqd/1]

      8      0.0%      0.0%      0.0%    [watchdog/1]

      9      0.0%      0.0%      0.0%    [migration/2]

     10      0.0%      0.0%      0.0%    [ksoftirqd/2]

     11      0.0%      0.0%      0.0%    [watchdog/2]

     12      0.0%      0.0%      0.0%    [migration/3]

     13      0.0%      0.0%      0.0%    [ksoftirqd/3]

     14      0.0%      0.0%      0.0%    [watchdog/3]

     15      0.0%      0.0%      0.0%    [migration/4]

     16      0.0%      0.0%      0.0%    [ksoftirqd/4]

     17      0.0%      0.0%      0.0%    [watchdog/4]

     18      0.0%      0.0%      0.0%    [migration/5]

     19      0.0%      0.0%      0.0%    [ksoftirqd/5]

     20      0.0%      0.0%      0.0%    [watchdog/5]

     21      0.0%      0.0%      0.0%    [migration/6]

---- More ----

各列分别表示某任务平均5sec、1min、5min实际占用CPU的百分比和任务名。某任务占用率越高，说明相应的任务占用CPU的资源越多。正常情况任务对CPU的占用率一般低于5%，这个命令可以查看明显高出正常占用率的任务。

3. 确认异常任务的调用栈

通过Probe视图下的follow job job-id 命令确认异常任务的调用栈。此处以显示job 14的调用栈为例。

[Sysname-probe] follow job 14

Attaching to process 14 ([watchdog/3])

Iteration 1 of 5

------------------------------

Kernel stack:

[<80480754>] schedule+0x954/0x1250

[<8028f720>] watchdog+0xb0/0x410

[<802656d0>] kthread+0x130/0x140

[<8021d730>] kernel_thread_helper+0x10/0x20

 

Iteration 2 of 5

------------------------------

Kernel stack:

[<80480754>] schedule+0x954/0x1250

[<8028f720>] watchdog+0xb0/0x410

[<802656d0>] kthread+0x130/0x140

[<8021d730>] kernel_thread_helper+0x10/0x20

 

Iteration 3 of 5

------------------------------

Kernel stack:

[<80480754>] schedule+0x954/0x1250

[<8028f720>] watchdog+0xb0/0x410

[<802656d0>] kthread+0x130/0x140

[<8021d730>] kernel_thread_helper+0x10/0x20

 

Iteration 4 of 5

------------------------------

Kernel stack:

[<80480754>] schedule+0x954/0x1250

[<8028f720>] watchdog+0xb0/0x410

[<802656d0>] kthread+0x130/0x140

[<8021d730>] kernel_thread_helper+0x10/0x20

 

Iteration 5 of 5

------------------------------

Kernel stack:

[<80480754>] schedule+0x954/0x1250

[<8028f720>] watchdog+0xb0/0x410

[<802656d0>] kthread+0x130/0x140

[<8021d730>] kernel_thread_helper+0x10/0x20

4. 收集信息并寻求技术支持

记录上述三步所获得的信息，并使用display diagnostic-information命令收集设备的诊断信息。将所有信息反馈给H3C技术人员寻求技术支持。

8.2  内存占用率高问题处理方法

8.2.1  故障描述

使用display memory命令查看设备内存信息。如果内存占用率在持续的一段时间内（一般为30分钟）高于60%，那么可能存在内存异常问题，需要关注。

8.2.2  故障处理流程

故障诊断流程图

 

8.2.3  故障处理步骤

1. 确定各内存块使用情况

使用Probe视图下的display system internal kernel memory pool命令查看各块内存使用情况，找出使用率不正常和不断增加的内存模块。

<Sysname> system-view

[Sysname] probe

[Sysname-probe]display system internal kernel memory pool slot 1

Active    Number  Size     Align Slab Pg/Slab ASlabs  NSlabs Name

2         10      3072     0     10   8       1       1      sgpool-128

0         0       900      0     34   8       0       0      LFIB_IlmEntryCache

0         0       656      0     23   4       0       0      MFW_FsCache

2         39      768      0     39   8       1       1      biovec-64

0         0       96       8     30   1       0       0      cfq_io_context

0         0       52       0     42   1       0       0      ARP_Static_Entry_Cachep

0         0       432      0     34   4       0       0      LFIB_IlmEntryCache

0         0       80       0     34   1       0       0      LFIB_NhlfeCacheCache

0         0       536      0     28   4       0       0      jffs2_i

11        92      52       4     46   1       2       2      pktpcb

1         26      576      0     26   4       1       1      shmem_inode_cache

515       650     256      8     25   2       24      26     kmalloc-256

0         0       1936     0     16   8       0       0      MFW_FsCache

0         42      4096     0     7    8       0       6      names_cache

0         0       1104     0     28   8       0       0      MFW_FsCache

0         0       336      4     21   2       0       0      ripcb

0         0       8        0     85   1       0       0      L2VFIB_Ac_Ctr_Cache

599       680     440      4     34   4       20      20     socket

0         0       104      0     28   1       0       0      memDSLITE

0         0       68       0     39   1       0       0      mfib_l2m_source_cache

16        26      108      0     26   1       1       1      ADJ4_Ext_Cachep

0         0       48       0     46   1       0       0      L2VFIB_LpwEntryCacheName(1)

---- More ----

请重点查看Number列和Size列的统计结果。如果发现某块内存在不停增加，那么表示该块内存在被不断使用。需要注意的是：

·     有些内存块使用率的增加是正常的，所以需要判断该块内存是否真正的异常。Number*Size是某个模块使用的内存大小。判断内存使用率是否正常可能需要持续观察内存增长速度和内存使用的多少综合分析判断。

·     有些内存的泄漏过程比较缓慢，所以需要比较长的时间（甚至是几周的时间）来对比观察。

2. 收集信息并寻求技术支持

通过上述步骤只是确定了出现问题的内存模块，但还需继续收集信息以确定具体是哪些代码有问题。由于后续信息收集要求较高，不建议用户操作，请与H3C的技术支持工程师联系。需要注意的是：此时，不得重启设备，否则设备重启后，由于缺少故障出现时的信息而给故障定位带来困难。

8.3  故障诊断命令

命令	说明
display cpu-usage	显示CPU利用率的统计信息
display process cpu	Probe视图下命令，显示各任务占用CPU的情况
display memory	显示内存使用情况
display system internal kernel memory pool	Probe视图下命令，查看各块内存使用情况
follow job job-id	Probe视图下命令，显示异常任务的调用栈

 

9 其它常见故障处理

9.1  二层流量转发丢包

9.1.1  故障描述

设备二层转发丢包，即源端和目的端在同一二层网络的同一VLAN内，通信过程中有丢包。

9.1.2  故障处理流程

二层流量转发丢包故障诊断流程图

 

9.1.3  故障处理步骤

1. 查看端口下是否有错包

使用display interface命令查看端口下是否有错包。如果有错包，请前往步骤2，如果没有错包，请前往步骤3进行后续步骤的检查。

<Sysname>display interface ten-gigabitethernet1/0/32

FortyGigE1/0/32 current state: UP

Line protocol state: UP

IP Packet Frame Type: PKTFMT_ETHNT_2, Hardware Address: 000f-e200-002b

……

Last 300 seconds input:  0 packets/sec 10 bytes/sec 0%

 Last 300 seconds output:  0 packets/sec 10 bytes/sec 0%

 Input (total):  1438 packets, 480292 bytes

          0 unicasts, 0 broadcasts, 1438 multicasts, 0 pauses

 Input (normal):  1438 packets, - bytes

          0 unicasts, 0 broadcasts, 1438 multicasts, 0 pauses

 Input:  0 input errors, 0 runts, 0 giants, 0 throttles

          0 CRC, 0 frame, - overruns, 0 aborts

          - ignored, - parity errors

 Output (total): 1440 packets, 475200 bytes

          0 unicasts, 0 broadcasts, 1440 multicasts, 0 pauses

 Output (normal): 1440 packets, - bytes

          0 unicasts, 0 broadcasts, 1440 multicasts, 0 pauses

 Output: 0 output errors, - underruns, - buffer failures

          0 aborts, 0 deferred, 0 collisions, 0 late collisions

          0 lost carrier, - no carrier

2. 端口下有错包

端口下有错包有以下几种可能的故障原因，可使用排除法定位：

·     端口本身硬件故障：通过将连接端口的线缆连接到配置相同且可正常工作的端口查看是否端口本身硬件故障。如果是端口本身硬件故障，请将线缆连接到可正常工作的端口。

·     链路上光模块、光纤或以太网双绞线故障：通过更换完好的光模块、光纤或以太网双绞线定位是否光纤或以太网双绞线故障。如果是光模块、光纤或以太网双绞线故障，请更换完好的光模块、光纤或以太网双绞线。

对端配置问题，使用display interface brief查看对端速率、双工模式的配置是否和本端一致。如果对端速率和双工模式的配置与本端不一致，请更新配置保证本端和对端速率和双工模式的配置一致。

·     当通过上述方法无法解决错包问题时，请前往步骤7。

3. 报文因匹配ACL被过滤

(1)     检查端口、VLAN以及全局下是否配置了ACL或QoS策略，如果配置了ACL或QoS策略，请检查端口进入的报文是否因匹配了ACL或QoS策略的流分类而被丢弃，包括端口下的packet-filter（使用display packet-filter查看）、qos policy（使用display qos policy查看），vlan policy（使用display qos vlan-policy查看）以及global policy（使用display qos policy global查看）。如果报文因匹配了ACL或QoS策略的流分类而被丢弃，请参考ACL或QoS的配置方法通过更新配置使报文不被丢弃。

(2)     检查是否因匹配一些特性自动创建的ACL而被过滤，在以太网接口视图下使用display this命令查看端口下是否配置了下面特性或使用特性相关的具体命令查看：

·     端口是否配置ip source binding或ip verify source，使用display ip source binding/ display ipv6 source binding可以查看绑定表项信息。如果端口配置了ip source guard且通过上述 display命令发现没有匹配报文的表项，请根据您使用的绑定表项的生成方法进一步排查。

·     查看端口是否配置了Portal认证，没有通过Portal认证的用户，报文会被该端口丢弃。使用display portal interface可以显示指定VLAN接口的Portal配置信息。请用户根据实际情况确定是否可以取消Portal认证。在系统视图下使用undo portal server server-name可以取消Portal认证。

·     端口所在VLAN是否配置了MFF，使用display mac-forced-forwarding vlan命令显示指定VLAN的MFF信息，如果显示信息中没有Gateway信息，请根据MFF运行的模式查看ARP Snooping或DHCP Snooping是否正确配置。

4. 端口被协议设置为block状态

·     使用display stp brief命令查看端口是否被STP设置为discarding状态。如果端口被STP设置为discarding状态，请根据STP的相关配置进一步排查。H3C建议您将连接终端设备的端口配置为边缘端口或关闭该端口的STP功能。

·     如果端口属于某个聚合组，使用display link-aggregation verbose命令查看聚合口的详细信息，当该端口Status为Unselected状态时，该端口无法收发数据报文。请定位端口成为Unselected状态的原因，如聚合组内成员端口的属性类配置与参考端口不一致，进一步排查解决。

·     查看端口是否被Smartlink阻塞：使用display smart-link group命令查看端口状态，当State为STANDBY或DOWN时端口不能转发数据。如果State为DOWN，请定为端口成为DOWN状态的原因，如上行链路上的设备配置了Monitor Link功能造成该端口DOWN，或该端口所在链路连接发生故障或端口被shutdown，进一步排查解决；如果State为STANDBY，请将该设备Smart Link组的主、从端口互换。

5. 配置相关丢包

·     在以太网接口视图下使用display this命令查看端口是否在报文所属VLAN中。如果端口不在报文所属VLAN中，请将端口加入该VLAN。

·     使用display mac-address blackhole命令查看是否因为匹配了黑洞MAC地址表项被丢包。请根据实际情况确定是否可以取消该黑洞MAC。如果需要删除该黑洞MAC，请使用undo mac-address blackhole mac-address vlan vlan-id命令删除。

·     使用display qos lr interface查看是否有端口限速的配置。如果端口有限速的配置，请查看令牌生成速度和突发流量配置值是否合理，可以通过使用qos lr { inbound | outbound } cir committed-information-rate [ cbs committed-burst-size ]命令调整令牌生成速度和突发流量配置值定位解决。

·     在以太网接口视图下使用display this命令查看端口是否有风暴抑制相关配置，包括广播风暴抑制比（broadcast-suppression），组播风暴抑制比（multicast-suppression），未知单播风暴抑制比（unicast-suppression）。如果端口下配置了风暴抑制比，可以通过将风暴抑制比的数值调大定位解决。

6. 拥塞丢包

通过display qos queue-statistics interface命令查看端口是否有拥塞丢包。请参考拥塞管理的相关内容定位解决拥塞问题。

7. 寻求技术支持

如果上述检查完成后故障仍无法排除，请联系H3C的技术支持工程师。

9.1.4  故障诊断命令

命令	说明
display interface	显示以太网端口的相关信息
display packet-filter	显示ACL在报文过滤中的应用情况
display qos policy	显示用户定义策略的配置信息
display qos policy interface	显示指定端口或所有端口上QoS策略的配置信息和运行情况
display qos vlan-policy	显示基于VLAN应用QoS策略的信息
display qos policy global	显示基于全局应用QoS策略的信息
display this	在以太网接口视图下使用此命令查看接口的当前配置
display ip source binding/ display ipv6 source binding	查看IP Source Guard绑定表项信息
display portal interface	显示指定接口的Portal配置信息
display mac-forced-forwarding vlan	显示指定VLAN的MFF信息
display link-aggregation verbose	查看聚合口的详细信息
display smart-link group	查看Smart Link组的信息
display mac-address blackhole	查看黑洞MAC地址表项信息
display qos lr interface	显示端口限速配置情况
display qos queue-statistics interface	显示端口队列统计信息

 

9.2  三层转发丢包故障

9.2.1  故障描述

设备三层转发丢包，即发送端IP地址和目的端IP地址不在同一网段内，通信过程中有丢包现象。

9.2.2  故障处理流程

三层转发丢包故障诊断流程图

9.2.3  故障处理步骤

1. 检查端口是否有故障

根据9.1  二层流量转发丢包章节的故障诊断流程，定位是否是设备端口故障（包括端口硬件故障和端口配置故障）：

(1)     如果是端口故障，请按照9.1  二层流量转发丢包章节的故障处理流程进行处理。

(2)     如果不是端口故障，则执行步骤2。

2. 查看ARP表项是否正确

使用display arp命令查看设备上是否正确学习到网关设备的ARP表项：

(1)     如果未学习到ARP表项，可以使用arp static命令添加静态ARP表项。

(2)     如果设备学习到错误的网关设备的ARP表项，通过打开debugging arp packet命令查看设备ARP表项学习情况，来定位ARP表项问题的原因。还可以使用display mac-address命令查看网关设备的MAC地址表项的出接口和ARP表项中的出接口是否一致，如果不一致，使用reset arp命令清除ARP表项，让设备重新学习ARP表项。

(3)     如果设备正确学习到网关设备的ARP表项，请执行步骤3。

3. 查看路由表项是否正确

使用display ip routing-table命令查看设备上学习的路由信息是否正确：

(1)     如果设备上学习到的路由信息不正确，请根据您使用的具体的路由协议进行进一步排查。

(2)     使用display fib命令查看对应的FIB表项的出接口和路由表项中的出接口是否一致，如果不一致，使用reset命令清除路由表项，让设备重新学习路由表项。

(3)     如果设备上的路由信息正确，请执行步骤4。

4. 寻求技术支持

如果上述检查完成后故障仍无法排除，请联系H3C的技术支持工程师。

9.2.4  故障诊断命令

命令	说明
debugging arp packet	打开ARP的报文调试信息开关
display arp	显示ARP表项
display ip routing-table	显示路由表的信息
display mac-address	显示MAC地址表信息
display fib	显示FIB表项的信息

 

9.3  协议震荡故障处理

9.3.1  故障描述

协议震荡一般都是协议报文交互时无法正常通信导致的。

9.3.2  故障处理流程

协议震荡故障诊断流程图

 

9.3.3  故障处理步骤

1. 查看二层转发是否丢包

根据9.1  二层流量转发丢包章节的故障诊断流程，定位是否是设备端口故障（包括端口硬件故障和端口配置故障）：

(1)     如果是端口故障，请按照9.1  二层流量转发丢包章节的故障处理流程进行处理。

(2)     如果不是端口故障，则执行步骤2。

2. 查看三层转发是否丢包

根据9.2  三层转发丢包故障章节的故障诊断流程，定位是否为三层故障（包括ARP表项错误和路由表项错误）：

(1)     如果是三层故障，请按照9.2  三层转发丢包故障章节的故障处理流程进行处理。

(2)     如果不是三层故障，则执行步骤3。

3. 查看软件收包是否丢包

# 进入Probe视图。

[Sysname-probe] debug rxtx softcar show slot 1

ID  Type                RcvPps Rcv_All    DisPkt_All Pps  Dyn Swi Hash ACLmax

0   ROOT                0      0          0          300  S   On  SMAC 0

1   ISIS                0      0          0          200  D   On  SMAC 8

2   ESIS                0      0          0          100  S   On  SMAC 8

3   CLNP                0      0          0          100  S   On  SMAC 8

4   VRRP                0      0          0          1024 S   On  SMAC 8

5   UNKNOWN_IPV4MC      0      0          0          100  S   On  SMAC 8

6   UNKNOWN_IPV6MC      0      0          0          100  S   On  SMAC 8

7   IPV4_MC_RIP         0      0          0          150  D   On  SMAC 8

8   IPV4_BC_RIP         0      0          0          150  D   On  SMAC 8

……

如果发现有丢包发生，请收集信息，然后执行步骤4。

4. 寻求技术支持

如果上述检查完成后故障仍无法排除，请联系H3C的技术支持工程师。