1 网络管理和监控类故障处理

1.1  NQA故障处理

1.1.1  TWAMP-light探测失败

1. 故障描述

设备作为源端，向目的端发起TWAMP-light探测。当出现以下任一情况时，均可判定TWAMP-light探测失败：

·     TWAMP-light探测状态异常

在设备上执行display nqa twamp-light client命令，显示信息中Status字段的取值为Inactive时，表明未启动TWAMP-light探测，TWAMP-light探测失败。

·     TWAMP-light探测结果异常

在设备上执行display nqa twamp-light client statistics two-way-loss test-session命令，当Loss count字段取值不为0时，表示网络中出现了TWAMP-light探测报文丢失的情况；当Error count字段取值不为0时，表示设备收到了错误的TWAMP-light探测报文。如果丢包和错包个数超过用户业务允许范围，就可以认为TWAMP-light会话探测失败。

2. 常见原因

·     对于探测状态异常的情况，本类故障的常见原因主要包括：

¡     L3VPN场景下VPN被删除。

¡     L2VPN场景下源AC状态down。

¡     如果配置了source interface命令，但接口板被拔出，接口不存在。

·     对于探测结果异常的情况，本类故障的常见原因主要包括：

¡     丢包问题

-     配置错误，客户端与服务器侧的配置不匹配

-     与探测目的地址路由不可达，Ping不通或者Ping出现丢包

-     接口CRC校验错误

¡     错包问题

-     配置错误，执行start命令启动TWAMP-light测试时，配置的timeout参数值过小，反射报文在timeout超时之后才到达设备，设备认为该报文为错包。

-     报文内容有不符合协议要求的字段

-     报文封装失败

3. 故障分析

本类故障的诊断流程如图图1-1所示：

图1-1 TWAMP-light探测失败的故障诊断流程图

4. 处理步骤

(1)     收集TWAMP-light探测状态及结果。

在设备上执行display nqa twamp-light client和display nqa twamp-light client statistics two-way-loss test-session命令，明确存在问题的探测，并收集探测状态及结果。

¡     如果执行display nqa twamp-light client命令，显示信息中Status字段的取值为Inactive，则表示TWAMP-light探测状态异常。

<Sysname> display nqa twamp-light client

Brief information about all test sessions:

Total sessions: 1

Active sessions: 1

-----------------------------------------------------------------------------

ID    Status     Source IP/Port         Destination IP/Port

1     Active     1.1.1.1/10000          1.1.1.2/20000

¡     如果执行display nqa twamp-light client statistics two-way-loss test-session命令，显示信息中Loss count字段取值不为0，则表示TWAMP-light探测结果为丢包；显示信息中Error count字段取值不为0，则表示TWAMP-light探测结果为错包。

<Sysname> display nqa twamp-light client statistics two-way-delay test-session 1

Latest two-way loss statistics:

    Index         Loss count    Loss ratio    Error count    Error ratio

    1             200           100.0000%     0              0.0000%

    2             200           100.0000%     0              0.0000%

    3             200           100.0000%     0              0.0000%

    4             200           100.0000%     0              0.0000%

    5             200           100.0000%     0              0.0000%

--------------------------------------------------------------------------------

Average loss count  : 200             Average loss ratio  : 100.0000%

Maximum loss count  : 200             Maximum loss ratio  : 100.0000%

Minimum loss count  : 200             Minimum loss ratio  : 100.0000%

Average error count : 0               Average error ratio : 0.0000%

Maximum error count : 0               Maximum error ratio : 0.0000%

Minimum error count : 0               Minimum error ratio : 0.0000%

(2)     对于探测状态异常的情况，请参照以下步骤进行处理：

a.     如果设备刚启动、刚完成主备倒换或者配置的source interface所在接口板未完成启动时，请等待设备状态稳定后再观察探测状态是否恢复成Active。执行display system stable state命令，如果显示信息中System state字段的取值为Stable，则表示设备已经处于稳定状态。

-     如果恢复成Active，则无需继续处理。

-     如果未恢复成Active，请继续定位。

b.     如果设备已经稳定运行，请检查配置是否完整。

-     对于L3VPN场景，请执行display nqa twamp-light client verbose命令查看TWAMP-light探测绑定的VPN，并执行display ip vpn-instance命令查看该VPN是否存在。如果绑定的VPN不存在，请在系统视图下，执行ip vpn-instance命令来创建VPN实例。

-     对于L2VPN场景，请执行display nqa twamp-light client verbose命令查看Source interface字段的取值，如果取值为“-”，请在TWAMP-light测试的Client-session视图下执行source interface命令用来配置探测帧的源AC，且需要确保绑定的接口处于up状态。

c.     检查组网连接是否就绪。如果TWAMP-light探测绑定了源接口或者源AC，则要求源接口和源AC处于up状态。

-     执行display l2vpn pw xconnect-group或者display l2vpn forwarding ac命令，显示信息中State字段的取值表示AC的状态。如果AC状态为Down，请先解决AC故障问题。

-     执行display interface命令，显示信息中Current state、Line protocol state字段的取值表示接口的状态。如果接口状态为Down，请先保证接口UP。

(3)     针对探测结果丢包问题，请参照以下步骤进行处理：

a.     检查是否因为配置错误，导致丢包。

在设备上执行display nqa twamp-light client verbose命令，在探测目的端执行display nqa twamp-light responder命令，查看TWAMP-light探测参数。如果指定了以下参数，则要求源端和目的端的配置一致。

-     源IP地址。在源端，该参数可通过TWAMP-light测试的Client-session视图下的source ip、source ipv6命令修改。

-     源端口号。在源端，该参数可通过TWAMP-light测试的Client-session视图下的source port命令修改。

-     目的IP地址。在源端，该参数可通过TWAMP-light测试的Client-session视图下的destination ip、destination ipv6命令修改。

-     目的端口号。在源端，该参数可通过TWAMP-light测试的Client-session视图下的destination port命令修改。

-     VPN实例名称。在源端，该参数可通过TWAMP-light测试的Client-session视图下的vpn-instance命令修改。

-     VLAN ID。在源端，该参数可通过TWAMP-light测试的Client-session视图下的vlan命令修改。

-     源MAC地址。在源端，该参数可通过TWAMP-light测试的Client-session视图下的source mac命令修改。

-     目的MAC地址。在源端，该参数可通过TWAMP-light测试的Client-session视图下的destination mac命令修改。

以上参数，在探测目的端，均可通过TWAMP-light-responder视图下的test-session命令来修改。

TWAMP-light测试的其它配置要求如下：当源端（TWAMP-light sender）上时间戳类型配置为NTP，且测试报文的发包间隔配置为10ms或100ms时，设备会认为配置冲突，导致TWAMP_LIGHT测试启动失败。请在TWAMP-light-sender视图下通过start命令修改发包间隔，或者在TWAMP-light测试的Client-session视图下通过timestamp-format命令修改时间戳格式。

b.     在源端的用户视图依次执行terminal monitor、terminal debugging、debugging nqa error和debugging nqa event命令，打开NQA调试信息输出开关，让NQA调试信息通过登录终端的屏幕输出。然后在Probe视图下执行view /var/log/trace.log命令，可以查看NQA的Trace log信息。通过日志信息可以判断设备是否正常发送TWAMP-light探测报文、收到TWAMP-light响应报文、探测结果中的时间戳是否正常。

-     如果源端未正常发送TWAMP-light探测报文，请根据登录终端显示的NQA调试信息和Trace log信息来初步判定发包失败的原因，并根据发包失败的原因修改源端的TWAMP-light配置，并重新启动TWAMP-light探测。如果根据登录终端显示的NQA调试信息和Trace log信息无法解决源端未正常发送TWAMP-light探测报文的问题，可以执行以下命令收集显示信息，执行步骤（5）。

-     display ip statistics

-     display ipv6 statistics

-     display ethernet statistics

-     如果源端未正常收到TWAMP-light响应报文，可在目的端的系统视图执行nqa agent enable命令开启NQA client功能，然后返回用户视图依次执行terminal monitor、terminal debugging、debugging nqa packet命令，打开NQA报文调试信息输出开关。查看目的端是否收到NQA报文，NQA报文的配置是否正确。如果目的端未收到NQA报文，大概率是网络出现了故障，请继续参照下面的步骤定位网络故障。如果NQA报文配置错误，请参考步骤1.1.1  4. (3)a修改NQA配置后再重新开启测试。目的端可查看到的NQA报文调试信息示例：

-     

-     探测结果中的时间戳的关系应该为：CSendTime≤CRecvTime、SRecvTime≤SsendTime，且NQA server的处理时间SSendTime–SrecvTime值应该较小。如果未满足以上时间戳的要求，则表示时间戳异常。请收集时间戳信息及执行display device命令收集设备板卡信息，执行步骤（5）。

Trace log信息示例：

*May  6 00:36:24:900 2023 Sysname NQA/7/KDIAG: send packt, session 1, ucSampler 187.

// 以上调试信息表明设备发送了一个TWAMP-light探测报文

*May  6 00:36:24:901 2023 Sysname NQA/7/KDIAG: Twmap Recv Pakcet ucSampler=187

// 以上调试信息表明设备收到了一个TWAMP-light响应报文

*May  6 00:36:24:901 2023 Sysname NQA/7/KDIAG: cSendSec is 1683304584, cSendFrac is 900923500, sRecvSec is 1683304584, sRecvFrac is 835000000,cRecvSec is 1683304584, cRecvFrac is 901923500, sSendSec is 1683304584, sSendFrac is 835000000

*May  6 00:36:24:901 2023 Sysname NQA/7/KDIAG: nqa entry (twamplight?session-1) Sampler(187) client time:

  CSendTime=1683304584900923    CRecvTime=1683304584901923      SRecvTime=1683304584835000      SSendTime=1683304584835000

// 以上调试信息表明设备进行一次TWAMP-light探测获取到的时间戳

c.     检查是否因为网络故障，导致丢包。对检测目的地址执行ping命令，如果Ping失败或者有丢包，请先解决网络故障。

d.     检查是否因为CRC校验错误，导致丢包。

e.     执行display counters命令，如果显示信息中Err (pkts)字段的取值随着探测的进行在不断增长，则表示链路层发包出现错误，请更换接口或者线缆来尝试解决该故障。

(4)     针对探测结果错包问题，请参照以下步骤进行处理：

a.     确认是否因为配置错误，导致设备将迟到的TWAMP-light响应报文误认为是错包。

-     在源端对探测目的端执行ping命令，探测源端到目的端的最大时延（对应Ping结果中round-trip min/avg/max/std-dev字段中max的取值，单位为ms）。

-     在设备上执行display nqa twamp-light client verbose命令，查看TWAMP-light响应报文的超时时间（对应显示信息中Timeout(sec)字段的值）。TWAMP-light响应报文的超时时间必须大于源端到目的端的最大时延，否则，请在TWAMP-light-sender视图下执行start命令重新指定time-out参数的值。

b.     在源端的用户视图依次执行terminal monitor、terminal debugging、debugging nqa error和debugging nqa event命令，打开NQA调试信息输出开关，让NQA调试信息通过登录终端的屏幕输出。然后在Probe视图下执行view /var/log/trace.log命令，查看NQA的Trace log信息。通过日志信息判断报文内容是否符合协议要求、报文封装是否正确。如果报文内容不符合协议要求、报文封装不正确，请参照TWAMP-light配置手册要求，重新配置TWAMP-light探测。

(5)     如果故障仍然未能排除，请收集如下信息，并联系技术支持人员。

¡     上述步骤的执行结果。

¡     设备的配置文件、日志信息、告警信息。

5. 告警与日志

相关告警

模块名：HH3C-TWAMP-MIB

·     hh3cTwampTwoWayLossExceed（1.3.6.1.4.1.25506.2.184.1.0.1）

·     hh3cTwampTwoWayLossRecover（1.3.6.1.4.1.25506.2.184.1.0.2）

·     hh3cTwampTwoWayDelayExceed（1.3.6.1.4.1.25506.2.184.1.0.3）

·     hh3cTwampTwoWayDelayRecover（1.3.6.1.4.1.25506.2.184.1.0.4）

·     hh3cTwampTwoWayJitterExceed（1.3.6.1.4.1.25506.2.184.1.0.5）

·     hh3cTwampTwoWayJitterRecover（1.3.6.1.4.1.25506.2.184.1.0.6）

·     hh3cTwampSenderStartFailure（1.3.6.1.4.1.25506.2.184.1.0.9）

·     hh3cTwampStatisticsAbnormal（1.3.6.1.4.1.25506.2.184.1.0.11）

相关日志

·     NQA/6/NQA_TWAMP_LIGHT_PACKET_INVALID

·     NQA/6/NQA_TWAMP_LIGHT_REACTION

·     NQA/6/NQA_TWAMP_LIGHT_SENDER_START_FAILURE

·     NQAS/6/NQA_TWAMP_LIGHT_START_FAILURE