1 三层技术-IP业务类故障处理

1.1  ADVPN故障处理

1.1.1  ADVPN隧道震荡（未使用IPsec保护场景）

1. 故障描述

未使用IPsec安全框架保护ADVPN隧道报文的场景下，ADVPN隧道震荡，隧道接口状态在Success和Dumb之间变化。

2. 常见原因

本类故障的常见原因主要包括：

·     对VAM Server和VAM Client的配置进行了修改或删除。

·     对ADVPN的隧道配置进行了修改或删除。

·     ADVPN隧道物理接口异常。

·     VAM Server和VAM Client之间路由震荡。

·     ADVPN隧道两端路由震荡。

·     ADVPN隧道两端的中间网络链路不稳定。

3. 故障分析

本类故障的诊断流程如图1所示。

图1 ADVPN隧道震荡（非IPsec场景）故障诊断流程图

 

4. 处理步骤

(1)     检查VAM Server的配置是否进行了修改或删除。

a.     检查指定ADVPN域的VAM Server功能是否被关闭。VAM Server关闭会导致该域中的ADVPN隧道被删除。

<Sysname> display vam server statistics advpn-domain 1

ADVPN domain name      : 1

Server status          : Enabled

Holding time           : 0H 1M 47S

Registered spoke number: 98

Registered hub number  : 2

...略...

如果以上显示信息中的Server status取值为Disabled，请在系统视图下执行命令vam server enable advpn-domain domain-name，重新开启指定ADVPN域的VAM Server功能。

b.     检查指定ADVPN隧道所属Hub的私网地址信息是否进行了修改。Hub的私网地址删除后，会触发与该Hub建立的ADVPN隧道被删除。

在指定的Hub组视图下，执行命令display this，检查包含的hub private-address配置是否符合预期。若不准确，请在Hub组视图下修改配置。

<Sysname> system-view

[Sysname] vam server advpn-domain 1

[Sysname-vam-server-domain-1] hub-group 1

[Sysname-vam-server-domain-1-hub-group-1] display this

#

 hub-group 1

  hub private-address 10.1.1.1 advpn-port 3333

#

c.     检查配置的监听端口号是否进行了修改。VAM Server的监听端口号与VAM Client上指定的VAM Server的端口号必须一致，否则VAM Client与VAM Server之间的协议报文将无法正常收发。如果VAM Client长时间未收到来自VAM Server的Keepalive响应报文，会主动将ADVPN隧道状态切换为Dumb。

在系统视图下执行命令display this，检查包含的vam server listen-port配置是否符合预期。若不准确，请在系统视图下执行vam server listen-port命令修改配置。

<Sysname> system-view

[Sysname] vam server listen-port 10000

d.     以上检查完成后，如果重新调整了配置，请执行命令reset vam server address-map，重新触发VAM Client上线。之后，如果故障仍未排除，请执行步骤（2）。

(2)     检查VAM Client的配置是否进行了修改或删除。

a.     检查指定的VAM Client功能是否被关闭。VAM Client功能关闭会导致已建立的ADVPN隧道被删除。

<Sysname> display vam client fsm

Client name      : abc

Status           : Enabled

ADVPN domain name: 1

  Primary server: abc.com (28.1.1.23)

    Private address: 10.0.0.12

...略...

如果以上显示信息中的Status取值为Disabled，请在系统视图下执行命令vam client enable name client-name，重新开启指定的VAM Client功能。

b.     检查主VAM Server的地址是否进行了修改或删除。VAM Client上的主VAM Server地址被删除后，该VAM Client上已经建立的ADVPN隧道也将会被删除，并触发VAM Client与新的VAM Server进行重新注册。

<Sysname> display vam client fsm

Client name      : abc

Status           : Enabled

ADVPN domain name: 1

  Primary server: abc.com (28.1.1.23)

    Private address: 10.0.0.12

...略...

如果以上显示信息中的Primary server地址不符合预期，请在VAM Client视图下执行命令server primary，重新配置主VAM Server的地址信息。

<Sysname> system-view

[Sysname] vam client name abc

[Sysname-vam-client-abc] server primary ip-address 1.1.1.1 port 2000

需要注意的是，VAM Client上指定的VAM Server的端口号，则必须和VAM Server上通过vam server listen-port命令配置的监听端口号一致。

以上检查完成后，如果重新调整了配置，请执行命令reset vam client fsm，重新触发VAM Client上线。之后，如果故障仍未排除，请执行步骤（3）。

(3)     检查ADVPN隧道配置是否进行了修改或删除。

a.     进入指定的ADVPN隧道接口视图，执行命令display this，检查隧道接口的私网地址、源端口地址、绑定的VAM Client是否符合预期。

<Sysname> system-view

[Sysname] interface tunnel 1 mode advpn udp

[Sysname-Tunnel1] display this

#

interface Tunnel2 mode advpn udp

 ip address 10.1.1.1 255.255.255.0

 advpn source-port 3333

 vam client abc

#

当要求同一个ADVPN隧道接口的流量必须在同一个slot上进行处理时，还需要在隧道接口下通过命令service slot/service chassis chassis-number slot slot-number配置处理接口流量的slot，否则会造成丢包。

b.     如果需要调整配置，请在该视图下完成相关配置，然后在用户视图下执行命令reset advpn session interface tunnel number，触发重新建立对应的ADVPN隧道。之后，如果故障仍未排除，请执行步骤（4）。

(4)     检查ADVPN隧道物理接口是否异常。

执行命令display ip interface brief，查看ADVPN隧道端点所在物理接口的Physical字段。如果Physical字段一直显示为down或者在up和down两种状态间切换，则表示物理接口异常，需要首先排除物理接口故障。如果隧道物理接口正常的情况下，故障仍存在，请执行步骤（5）。

(5)     检查VAM Server和VAM Client之间是否存在路由震荡。

分别在VAM Server和VAM Client上执行命令display ip routing-table，查看是否存在到达对端的路由信息。如果相关路由信息一直在显示和不显示之间切换，则表示路由震荡。

¡     如果VAM Server和VAM Client之间没有可达路由，或者路由震荡，请检查路由配置，并参考相关协议的路由震荡故障手册确保路由正常。

¡     如果VAM Server和VAM Client之间没有路由问题，请执行步骤（6）。

(6)     检查ADVPN隧道两端是否存在路由震荡。

分别在ADVPN隧道两端执行命令display ip routing-table，查看是否存在到达对端的路由信息。如果相关路由信息一直在显示和不显示之间切换，则表示路由震荡。

¡     如果ADVPN隧道两端没有可达路由，或者路由震荡，请参考相关协议的路由震荡故障手册检查路由配置，并确保路由正常。

¡     如果ADVPN隧道两端没有路由问题，请执行步骤（7）。

(7)     检查ADVPN隧道两端的中间网络链路是否稳定。

在本端执行命令display vam client statistics，观察Keepalive报文的收发统计数据是否一致。

<Sysname> display vam client statistics

Client name: abc

 Status     : Enabled

  Primary server: abc.com

    Packets sent:

      Initialization request        : 1

      Initialization complete       : 1

      Register request              : 1

      Authentication information    : 1

      Address resolution request    : 9

      Network registration request  : 0

      Update request                : 0

      Logout request                : 0

      Hub information response      : 0

      Data flow information response: 0

      Keepalive                     : 35

      Error notification            : 0

    Packets received:

      Initialization response      : 1

      Initialization complete      : 1

      Authentication request       : 1

      Register response            : 1

      Address resolution response  : 9

      Network registration response: 0

      Update response              : 0

      Hub information request      : 0

      Data flow information request: 0

      Logout response              : 0

      Keepalive                    : 35

      Error notification           : 0

      Unknown                      : 0

...略...

如果Keepalive报文的收发统计数据均不为零且不一致，说明中间网络链路不稳定，请在技术人员的指导下逐跳排查中间网络的链路问题。如果Keepalive报文的收发统计数据一致，请执行步骤（8）。

(8)     如果故障仍然未能排除，请收集如下信息，并联系技术支持人员。

¡     上述步骤的执行结果。

¡     设备的配置文件。

¡     VAM Server、VAM Client和ADVPN的事件和错误类调试信息。通常不建议打开报文类型的调试信息开关，以避免用户界面上输出的报文类调试信息过多干扰用户的正常业务操作和信息阅览。

5. 告警与日志

相关告警

无

相关日志

无

1.1.2  ADVPN隧道震荡（使用IPsec保护场景）

1. 故障描述

使用IPsec安全框架保护ADVPN隧道报文的场景下，ADVPN隧道震荡，隧道状态在一直在Success和Dumb之间变化。

2. 常见原因

本类故障的常见原因主要包括：

·     对VAM Server、VAM Client或者ADVPN隧道的配置进行了修改或删除。

·     ADVPN隧道物理接口异常。

·     VAM Server和VAM Client之间，或VAM Client之间路由震荡。

·     IPsec业务故障，例如IKE DPD探测丢包、IPsec重协商失败。

3. 故障分析

本类故障的诊断流程如图2所示。

图2 ADVPN隧道震荡（IPsec场景）故障诊断流程图

 

4. 处理步骤

(1)     检查ADVPN隧道两端之间是否有可达路由。

分别在ADVPN隧道两端执行命令display ip routing-table，查看是否含有到对端的路由信息。

¡     如果ADVPN隧道两端之间没有可达路由，请检查路由配置。

¡     如果ADVPN隧道两端之间有可达路由，请执行步骤（2）。

(2)     检查是否受IPsec业务影响。

分别在ADVPN隧道两端的隧道接口上执行命令undo tunnel protection ipsec profile，取消应用的IPsec安全框架，然后确认故障是否排除。

¡     如果去除IPsec保护后，故障仍然存在，请执行“ADVPN隧道震荡（未使用IPsec保护”的操作步骤进行故障排查。

¡     如果去除IPsec保护后，故障立刻解除，则说明故障由IPsec业务引入，请执行步骤（3）进行故障排查。

(3)     检查是否成功协商IKE SA和IPsec SA。

分别在ADVPN隧道两端执行命令display ike sa和display ipsec sa，确认是哪一个阶段的SA未协商成功：

a.     如果执行display ike sa命令后，没有显示对应的IKE SA，或者IKE SA的状态为Unknown，则表示第一阶段的IKE SA未协商成功。请检查隧道两端应用的ipsec profile所引用的IKE profile配置是否匹配。如果IKE配置正确的情况下，仍不能排除故障，请执行步骤（4）。

b.     如果执行display ipsec sa命令后，没有显示可用的IPsec SA，则表示第二阶段的IPsec SA未协商成功。请检查隧道两端应用的ipsec profile所引用的IPsec安全提议配置是否正确：

-     引用的IPsec安全提议中应包含相同的安全协议、认证/加密算法和报文封装模式。

-     引用的IPsec安全提议所采用的封装模式必须为隧道模式。

如果IPsec安全提议配置正确的情况下，仍不能排除故障，请执行步骤（4）。

(4)     如果故障仍然未能排除，请收集如下信息，并联系技术支持人员。

¡     上述步骤的执行结果。

¡     设备的配置文件。

¡     IKE、IPsec、VAM Server、VAM Client和ADVPN的事件和错误类调试信息。通常不建议打开报文类型的调试信息开关，以避免用户界面上输出的报文类调试信息过多干扰用户的正常业务操作和信息阅览。

5. 告警与日志

相关告警

无

相关日志

无

1.1.3  无法Ping通ADVPN隧道对端（未使用IPsec保护场景）

1. 故障描述

未使用IPsec安全框架保护ADVPN隧道报文的场景下，无法Ping通对端隧道接口的IP地址。

2. 常见原因

本类故障的常见原因主要包括：

·     ADVPN隧道两端之间路由不可达。

·     ADVPN隧道创建失败。

·     ADVPN隧道报文长度大于隧道接口的MTU。

3. 故障分析

本类故障的诊断流程如图3所示。

图3 无法Ping通ADVPN隧道对端（非IPsec场景）故障诊断流程图

 

4. 处理步骤

(1)     检查ADVPN隧道两端之间是否有可达路由。

分别在ADVPN隧道两端执行命令display ip routing-table，查看是否存在到达对端的路由信息。

¡     如果没有到达对端的路由，请检查路由配置，并确保路由正常。

¡     如果存在到达对端的路由，请执行步骤（2）。

(2)     检查ADVPN隧道是否创建成功。

分别在ADVPN隧道两端执行命令display advpn session，查看指定的ADVPN隧道是否存在。

<Sysname> display advpn session interface tunnel 1 private-address 10.0.1.3

Private address  Public address              Port  Type  State      Holding time

10.0.0.3         192.168.180.136             1139  H-S   Success    5H 38M 8S

¡     如果到达对端私网地址的ADVPN隧道不存在，或者隧道状态为Dumb，则表示ADVPN隧道未成功建立，请依次检查VAM Server、VAM Client、ADVPN隧道的相关配置，并确保配置准确。

-     在VAM Server上执行display vam server address-map命令，如果没有查看到注册到VAM Server上的VAM Client的IPv4私网地址和公网地址映射信息，则需要检查VAM Server、VAM Client的配置是否准确。有关VAM Server、VAM Client的详细配置介绍请参考ADVPN配置手册。

-     在VAM Server上执行display vam server address-map命令，如果查看到注册到VAM Server上的VAM Client的IPv4私网地址和公网地址映射信息，则需要检查ADVPN隧道配置是否准确。有关ADVPN隧道的详细配置介绍请参考ADVPN配置手册。

¡     如果到达对端私网地址的ADVPN隧道存在，请执行步骤（3）。

(3)     检查ADVPN隧道报文长度是否小于接口的MTU值。

分别在ADVPN隧道两端执行命令display interface tunnel，查看显示信息中的Maximum transmission unit字段取值。

<Sysname> display interface tunnel 1

Tunnel1

Current state: UP

Line protocol state: UP

Description: Tunnel1 Interface

Bandwidth: 64kbps

Maximum transmission unit: 1476

...略...

然后，执行ping –s packet-size –a local-address peer-address命令测试不同packet-size的Ping报文经过隧道接口发送结果，找到一个产生Ping不通现象的临界值，该临界值为传输链路能够允许的ADVPN隧道报文最大长度。

¡     如果隧道接口的MTU值小于上述ADVPN隧道报文长度，请在隧道接口视图下执行命令mtu size调整隧道接口的MTU值。

¡     如果隧道接口的MTU值大于上述ADVPN隧道报文长度，请执行步骤（4）。

(4)     如果故障仍然未能排除，请收集如下信息，并联系技术支持人员。

¡     上述步骤的执行结果。

¡     设备的配置文件。

¡     VAM Server、VAM Client和ADVPN的事件和错误类调试信息。通常不建议打开报文类型的调试信息开关，以避免用户界面上输出的报文类调试信息过多干扰用户的正常业务操作和信息阅览。

5. 告警与日志

相关告警

无

相关日志

无

1.1.4  无法Ping通ADVPN隧道对端（使用IPsec保护场景）

1. 故障描述

使用IPsec安全框架保护ADVPN隧道报文的场景下，无法Ping通对端隧道接口的IP地址。

2. 常见原因

本类故障的常见原因主要包括：

·     ADVPN隧道报文经过IPsec加解密失败。

·     ADVPN隧道报文长度大于隧道接口的MTU。

·     ADVPN隧道两端之间路由不可达。

·     IPsec业务故障，例如IPsec隧道未成功建立、IPsec抗重放丢包。

3. 故障分析

本类故障的诊断流程如图4所示。

图4 无法Ping通ADVPN隧道对端（IPsec场景）故障诊断流程图

 

4. 处理步骤

(1)     检查ADVPN隧道两端之间是否有可达路由。

分别在ADVPN隧道两端执行命令display ip routing-table，查看是否存在到达对端的路由信息。

¡     如果没有到达对端的路由，请检查路由配置，并确保路由正常。

¡     如果存在到达对端的路由，请执行步骤（2）。

(2)     检查是否受IPsec业务影响。

分别在ADVPN隧道两端的隧道接口上执行命令undo tunnel protection ipsec profile，取消应用的IPsec安全框架，然后确认故障是否排除。

¡     如果去除IPsec保护后，故障仍然存在，请执行步骤（3）进行故障排查。

¡     如果去除IPsec保护后，故障立刻解除，则说明故障由IPsec业务引入，请执行步骤（5）进行故障排查。

(3)     检查ADVPN隧道是否创建成功。

分别在ADVPN隧道两端执行命令display advpn session，查看指定的ADVPN隧道是否存在。

<Sysname> display advpn session interface tunnel 1 private-address 10.0.1.3

Private address  Public address              Port  Type  State      Holding time

10.0.0.3         192.168.180.136             1139  H-S   Success    5H 38M 8S

¡     如果到达对端私网地址的ADVPN隧道不存在，或者隧道状态为Dumb，则表示ADVPN隧道未成功建立，请依次检查VAM Server、VAM Client、ADVPN隧道的相关配置，并确保配置准确。

-     在VAM Server上执行display vam server address-map命令，如果没有查看到注册到VAM Server上的VAM Client的IPv4私网地址和公网地址映射信息，则需要检查VAM Server、VAM Client的配置是否准确。有关VAM Server、VAM Client的详细配置介绍请参考ADVPN配置手册。

-     在VAM Server上执行display vam server address-map命令，如果查看到注册到VAM Server上的VAM Client的IPv4私网地址和公网地址映射信息，则需要检查ADVPN隧道配置是否准确。有关ADVPN隧道的详细配置介绍请参考ADVPN配置手册。

¡     如果到达对端私网地址的ADVPN隧道存在，请执行步骤（4）。

(4)     检查ADVPN隧道报文长度是否小于接口的MTU值。

分别在ADVPN隧道两端执行命令display interface tunnel，查看显示信息中的Maximum transmission unit字段取值。

<Sysname> display interface tunnel 1

Tunnel1

Current state: UP

Line protocol state: UP

Description: Tunnel1 Interface

Bandwidth: 64kbps

Maximum transmission unit: 1476

...略...

然后，执行ping –s packet-size –a local-address peer-address命令测试不同packet-size的Ping报文经过隧道接口发送结果，找到一个产生Ping不通现象的临界值，该临界值为传输链路能够允许的ADVPN隧道报文最大长度。

¡     如果隧道接口的MTU值小于上述ADVPN隧道报文长度，请在隧道接口视图下执行命令mtu size调整隧道接口的MTU值。

¡     如果隧道接口的MTU值大于上述ADVPN隧道报文长度，请执行步骤（7）。

(5)     检查是否成功协商IKE SA和IPsec SA。

分别在ADVPN隧道两端执行命令display ike sa和display ipsec sa，确认是哪一个阶段的SA未协商成功：

¡     如果执行display ike sa命令后，没有显示对应的IKE SA，或者IKE SA的状态为Unknown，则表示第一阶段的IKE SA未协商成功。请检查隧道两端应用的ipsec profile所引用的IKE profile配置是否匹配。如果IKE配置正确的情况下，仍不能排除故障，请执行步骤（4）。

¡     如果执行display ipsec sa命令后，没有显示可用的IPsec SA，则表示第二阶段的IPsec SA未协商成功。请检查隧道两端应用的ipsec profile所引用的IPsec安全提议配置是否正确：

-     引用的IPsec安全提议中应包含具有相同的安全协议、认证/加密算法和报文封装模式的IPsec安全提议。

-     要引用的IPsec安全提议所采用的封装模式必须为隧道模式。

如果IPsec安全提议配置正确的情况下，仍不能排除故障，请执行步骤（6）。

(6)     检查是否为IPsec处理导致丢包。

分别在ADVPN隧道两端执行命令display ipsec statistic，查看报文丢包原因。

¡     如果IPsec处理的报文统计信息中有丢包，请根据丢包统计信息排查故障。

<Sysname> display ipsec statistics

  IPsec packet statistics:

    Received/sent packets: 47/64

    Received/sent bytes: 3948/5208

    Received/sent packet rate: 5/5 packets/sec

    Received/sent byte rate: 290/290 bytes/sec

    Dropped packets (received/sent): 0/45

 

    Dropped packets statistics

      No available SA: 0

      Wrong SA: 0

      Invalid length: 0

      Authentication failure: 0

      Encapsulation failure: 0

      Decapsulation failure: 0

      Replayed packets: 0

      ACL check failure: 45

      MTU check failure: 0

      Loopback limit exceeded: 0

      Crypto speed limit exceeded: 0

      Responder only limitation: 0

¡     如果IPsec处理的报文统计信息中没有丢包，请执行步骤（7）。

(7)     如果故障仍然未能排除，请收集如下信息，并联系技术支持人员。

¡     上述步骤的执行结果。

¡     设备的配置文件。

¡     IKE、IPsec、VAM Server、VAM Client和ADVPN的事件和错误类调试信息。通常不建议打开报文类型的调试信息开关，以避免用户界面上输出的报文类调试信息过多干扰用户的正常业务操作和信息阅览。

5. 告警与日志

相关告警

无

相关日志

无