选择区域语言: EN CN HK

H3C SecPath AFC2000系列 异常流量清洗检测系统 故障处理手册-5W102

手册下载

H3C SecPath AFC2000异常流量清洗系统

故障处理手册

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Copyright © 2019新华三技术有限公司 版权所有,保留一切权利。

非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,并不得以任何形式传播。

除新华三技术有限公司的商标外,本手册中出现的其它公司的商标、产品标识及商品名称,由各自权利人拥有。

本文档中的信息可能变动,恕不另行通知。

 


 

1 简介·· 1

1.1 故障处理注意事项·· 1

1.2 收集设备运行信息·· 1

1.3 故障处理求助方式·· 2

2 开局自检·· 2

2.1 自检目的·· 2

2.2 开局自检项·· 2

3 开局故障处理·· 4

3.1 旁路三层回流组网模式,主机IP牵引后,流量不通,且对主机进行访问,主机进入防护状态·· 4

3.1.1 故障描述·· 4

3.1.2 故障处理步骤·· 4

3.2 旁路二层回流组网模式,主机IP牵引后,流量不通,且对主机进行访问,主机进入防护状态·· 5

3.2.1 故障描述·· 5

3.2.2 故障处理步骤·· 5

3.3 串联组网时,无法ping通防护主机,且主机状态中未显示任何流量·· 6

3.3.1 故障描述·· 6

3.3.2 故障处理步骤·· 6

3.4 旁路模式下,系统管理>设备管理中,通道地址正确配置后,与交换机间直连路由不通·· 7

3.4.1 故障描述·· 7

3.4.2 故障处理步骤·· 7

4 功能故障处理·· 7

4.1 主机状态中显示有流量,但其实并没有流量·· 7

4.1.1 故障描述·· 7

4.1.2 故障处理步骤·· 8

4.2 IxLoad进行HTTP打流,发现AFC的主机状态中NewTCP0或者很低,但是流量都已转发,且SYN值与测试仪吻合·· 8

4.2.1 故障描述·· 8

4.2.2 故障处理步骤·· 8

4.3 导入黑白名单、域名或防护范围后,原有内容消失·· 10

4.3.1 故障描述·· 10

4.3.2 故障处理步骤·· 10

4.4 防御配置>域名管理中,导入中文域名乱码·· 10

4.4.1 故障描述·· 10

4.4.2 故障处理步骤·· 10

4.5 输入流量被过滤但是并没有触发防护·· 10

4.5.1 故障描述·· 10

4.5.2 故障处理步骤·· 10

4.6 主机状态中,TCP IN的连接一直不释放·· 11

4.6.1 故障描述·· 11

4.6.2 故障处理步骤·· 11

4.7 清洗设备+检测设备的旁路组网下,攻击结束、保护牵引时间已过,防护主机依然长期在牵引状态·· 11

4.7.1 故障描述·· 11

4.7.2 故障处理步骤·· 11

4.8 光电复用接口模式切换后不生效·· 12

4.8.1 故障描述·· 12

4.8.2 故障处理步骤·· 12

 


1 简介

本文档介绍异常流量清洗/检测系统软、硬件常见故障的诊断及处理措施。

1.1  故障处理注意事项

注意

设备正常运行时,建议您在完成重要功能的配置后,及时保存配置,设备重启后的配置为最近一次保存的内容。并及时备份当前配置,以免设备出现故障后配置丢失。建议您定期将配置文件备份至远程服务器上,以便故障发生后能够迅速恢复配置。

 

在进行故障诊断和处理时,请注意以下事项:

·     设备出现故障时,请尽可能全面、详细地记录现场信息(包括但不限于以下内容),收集信息越全面、越详细,越有利于故障的快速定位。

¡     记录具体的故障现象、故障时间、配置信息。

¡     记录完整的网络拓扑,包括组网图、端口连接关系、故障位置。

¡     收集设备的日志信息和诊断信息(收集方法见1.2  收集设备运行信息)。

¡     记录设备故障时单板、电源、风扇指示灯的状态,或给现场设备拍照记录。

¡     记录现场采取的故障处理措施(比如配置操作、插拔线缆、手工重启设备)及实施后的现象效果。

¡     记录故障处理过程中配置的所有命令行显示信息。

·     更换和维护设备部件时,请佩戴防静电手腕,以确保您和设备的安全。

1.2  收集设备运行信息

web能够登录管理地址,请收集如下信息:

表1     Web信息收集

分类

页面位置

说明

系统负载

状态监控>系统状态

鼠标放在上面,出现具体CPU、内存信息时截图

网卡负载

状态监控>系统状态

鼠标放在业务口上面,出现具体信息时截图

主机状态

状态监控>主机状态

展开主机,显示防护主机当前具体的攻击频率

主机攻击分析

状态监控>主机状态

主机状态列表中,点主机IP以外地方可调出主机攻击分析实时截图

屏蔽记录

状态监控>屏蔽记录

确认屏蔽原因,记录释放屏蔽主机后的效果

报文捕捉

状态监控>报文捕捉

捕捉报文数目填写10000,捕捉几段报文用来定位分析

防御配置

防御配置>全局参数、规则设置、TCP端口保护、UDP端口保护、黑白名单管理、域名管理、牵引管理

请将所有配置过的地方截图

设备管理

系统管理>设备管理

请截图

磁盘管理

系统管理>磁盘管理

请截图

导出配置

系统管理>系统备份恢复

勾选所有项目,导出后用来定位分析

日志管理

系统管理>日志管理

请选择覆盖问题发生时的时间,导出日志用来定位分析

 

web无法登录,请通过SSH方式登录后,输入以下命令并记录回显信息:

> display system mounts

>display memory usage

>display system version

1.3  故障处理求助方式

当故障无法自行解决时,请准备好设备运行信息、故障现象等材料,发送给H3C技术支持人员进行故障定位分析。

用户支持邮箱:service@h3c.com

技术支持热线电话:400-810-0504(手机、固话均可拨打)

2 开局自检

2.1  自检目的

针对客户的项目,提供有针对性的开局指导,规范开局配置,提前消除开局隐患,杜绝低级配置错误,保证项目的顺利进行。

另外,由于产品支持多种组网应用,各个局点的配置均不尽相同。本自检表检查一个比较全面的开局组网,实际开局时可以根据具体情况采用实际应用部分进行自检。

2.2  开局自检项

表2     开局自检项

编码

检查项目

检查分项目

检查方法

   

 

1

环境及单板硬件状态检查

风扇状况

查看设备

□合格

□不合格

□不涉及

风扇应正常运行

电源状况

查看设备

□合格

□不合格

□不涉及

电源指示灯应绿色常亮

指示灯状况

观察所有单板的运行灯及告警灯的运行状况

□合格

□不合格

□不涉及

应与《单板手册》相符

2

CPU占用率

CPU的占用率是否忽高忽低?震荡比较大(10%—60%)或者一直高(CPU占用率是否超过60%?)

WEB界面:状态监控>系统状态>系统负载

CLIdisplay cpu usage

□合格

□不合格

□不涉及

如果CPU占用率过高,请打开状态监控>综合监控,查看实时数据

3

内存占用率

内存占用率是否在80%以上?

WEB界面:状态监控>系统状态>系统负载

CLIdisplay memory usage

□合格

□不合格

□不涉及

如果内存占用率过高,请打开状态监控>综合监控,查看实时数据

4

端口自检

端口出/入方向是否有大量的错误报文?

WEB界面:状态监控>系统状态>网卡负载,查看出入接口的报文情况

 

□合格

□不合格

□不涉及

如果存在大量错误报文,请打开状态监控>综合监控,查看实时数据,确认流量是否超过清洗能力

5

log异常记录查看

检查日志里是否有异常记录

WEB界面:系统管理>日志管理

 

□合格

□不合格

□不涉及

查看日志记录

 

3 开局故障处理

3.1  旁路三层回流组网模式,主机IP牵引后,流量不通,且对主机进行访问,主机进入防护状态

3.1.1  故障描述

图1     三层回流组网示意图

 

如图,三层注入模式下,ping 防护主机不通(上图组网因为没有配置检测设备,设置为手动防护模式),同时,仅仅发送4ICMP数据包,防护主机进入了[ICMP]保护态。ICMP的全局参数设置的值为100

3.1.2  故障处理步骤

首先确认,如果流量不经过AFC设备,从客户端到防护主机是否正常,如果依然ping不通,说明是本身网络配置的问题,反之就是AFC设置的问题。

如果是AFC导致,要先理清回流模式的原理,流量需要通过动态路由牵引到AFC,清洗后的流量又通过策略路由转发到服务器,因此要再分别检查动态路由的配置和策略路由的配置。

具体步骤实施如下:

(1)     手动取消勾选“防护”,令流量不经过AFC,流量>路由器—>交换机—>防护主机,Ping防护主机如果不通,说明网络配置有问题,可以暂时排除AFC的影响;

图2     主机取消“防护”

 

(2)     如果上步骤之后,Ping防护主机通,说明流量到AFC出了问题。本例中,只有简单的ping,就触发了全局参数中的ICMP阈值,考虑是交换机与AFC之间形成了环路;

(3)     检查AFC和交换机之间配置的策略路由,本例中发现,策略路由配置后没有应用到交换机(以华三交换机为例)的端口上。

[S1-Ten-GigabitEthernet1/0/54]display this

#

interface Ten-GigabitEthernet1/0/54

port link-mode route

ip address 53.0.0.1 255.255.255.0

#

return

(4)     在交换机S1上增加命令如下,问题解决。

[S1-Ten-GigabitEthernet1/0/54]qos apply policy 1 inbound

3.2  旁路二层回流组网模式,主机IP牵引后,流量不通,且对主机进行访问,主机进入防护状态

3.2.1  故障描述

AFC设备组网模式为二层回流模式,组网成功后,流量不经过AFC时,ping主机可通。通过BGP路由引流量到AFC后,ping主机不通,且仅仅发送4ICMP数据包防护主机显示已经进入【ICMP】保护态。ICMP的全局参数设置的值为100

3.2.2  故障处理步骤

3.1排查问题的思路类似,这问题也是环路导致。环路下ICMP报文在AFC和路由器之间来回传递,计数大于默认值100,于是进入了ICMP保护态。二层回流模式的组网,排查环路需要注意的有三处:

(1)     防护范围中需要选择回注方式为VLAN,填上防护主机的vlan ID,确认是否填写。

(2)     AFC与交换机相连端口,需要trunk模式,且允许防护主机的VLAN通过。

(3)     全局参数>策略选项处,需要勾选“主机探测”。勾选后,才能获取主机的MAC地址,报文才能转发出去。

这三步都确认完成后,如果问题还不能解决,请联系技术支持人员。

3.3  串联组网时,无法ping通防护主机,且主机状态中未显示任何流量

3.3.1  故障描述

串联组网下,确认组网方式及步骤没有问题后,依然无法ping通防护主机,且主机状态中,此防护主机未显示有任何流量

3.3.2  故障处理步骤

(1)     防御配置>规则处,确认是否误勾选默认规则,建议直接恢复默认。此条排查方式也适用于旁路组网;

(2)     点击防护主机,进入主机设置页面,输出流量限制处是否默认写上了0,如果有,删除后提交即可。此处是因为旁路组网切换为串联组网后,有可能会使输出流量限制为0

图3     主机设置页面

 

 

3.4  旁路模式下,系统管理>设备管理中,通道地址正确配置后,与交换机间直连路由不通

3.4.1  故障描述

AFC设备切换为旁路版本,系统管理>设备管理中,配置了通道地址后,与交换机之间的直连路由不通。

3.4.2  故障处理步骤

(1)     系统管理>路由协议中,确认静态路由是否打开;

图4     开启静态路由

 

(2)     确认输入通道的IP、输出通道的IP、输出通道的对端这三者是否都已配置,都配置后,AFC才会进入三层模式。

(3)     是否曾经配置过聚合通道,且进行过删除操作。如果是,可再配置一次,然后按照“删除输入通道IP、删除对端、删除输出通道IP”这个顺序再次删除一次后,再重新配置。

4 功能故障处理

4.1  主机状态中显示有流量,但其实并没有流量

4.1.1  故障描述

主机状态中有多个主机,且为折叠态。在其中一组主机有流量时,点击展开其他主机,会看到本来没有流量的主机也显示流量。抓包来看,并没有这个流量。

如图,真正有流量的为51.0.0.3/24,但是标黄的几组也显示了莫名的流量。

图5     主机状态

 

4.1.2  故障处理步骤

这个问题是浏览器的缓存导致。可更换浏览器或者清空缓存再次尝试。本系统支持火狐和谷歌浏览器。

4.2  IxLoad进行HTTP打流,发现AFC的主机状态中NewTCP0或者很低,但是流量都已转发,且SYN值与测试仪吻合

4.2.1  故障描述

AFC为旁路组网,用IxLoad正确建模,模拟HTTP方式用户访问服务器,测试仪上看,流量都已经正确到达server,连接建立成功。AFC的主机状态中,显示SYN数据与测试仪新建连接数相同,但是NewTCP0,或者NewTCP数目非常低。

4.2.2  故障处理步骤

这个问题与旁路下对TCP连接的识别相关。AFC在旁路组网下,无法得知server发给client的报文,因此,TCP连接的计数依靠的是Client发给server的三次握手中的ACK报文数目。

这个问题需要在IX端进行以下确认:

(1)     Client端的HTTP设置中,advanced optionspiggyback ACK是否取消勾选。

图6     IxLoad -piggyback ACK

 

 

(2)     Client端的Traffic模型,IP mappings方式是否改成Cycle Users Through All Source IPs

图7     IxLoad -IP mapping

 

这两个地方都按图上方式更改后,问题如果依然未解决,请联系技术支持人员。

4.3  导入黑白名单、域名或防护范围后,原有内容消失

4.3.1  故障描述

在防御配置>黑白名单管理、防御配置>域名管理和状态监控>防护范围处,点击“导入”,通过文本导入的方式添加黑白名单、域名或防护范围。导入后发现,原有的列表内容消失,当前列表中只有新导入的内容。

4.3.2  故障处理步骤

因为AFC系列产品对“导入”的处理是覆盖而不是追加,因此导入行为会先删除原有列表内容,再添加新导入内容。如果想保留原有内容,需先导出原有列表,在后面追加新的内容后,再导入。

4.4  防御配置>域名管理中,导入中文域名乱码

4.4.1  故障描述

防御配置>域名管理中,导入多条域名,导入后的域名在web界面上中文字符乱码。

4.4.2  故障处理步骤

AFC系列产品只支持UTF-8的编码格式,而默认的文本文件是ANSI格式的。可点击原TXT文本左上角的“文件”,选择“另存为”,在弹出框下方的“编码格式”中选择UTF-8,重新导入即可。

4.5  输入流量被过滤但是并没有触发防护

4.5.1  故障描述

主机状态中,查看防护主机并没有触发任何防护,但输入流量被部分/全部过滤。

4.5.2  故障处理步骤

(1)     防御配置>全局参数>系统操作环境>流量控制,是否是攻击防御模式,改成攻击防御模式后,问题是否解决;

(2)     防御配置>规则设置,是否有命中数,规则去勾选后,问题是否解决,若解决,说明触发了规则;

(3)     防御配置>黑白名单管理,是否有命中数,黑名单去勾选后,问题是否解决,若解决,说明触发了黑名单;

(4)     防御配置>域名管理,是否有命中数,域名黑名单去勾选后,问题是否解决,若解决,说明触发了域名黑名单;

(5)     防御配置>全局参数>系统防护参数,报文频率紧急状态参数增大后,问题是否解决,若解决,说明触发了报文频率紧急状态防护;

(6)     防御配置>全局参数>系统防护参数,简单过滤流量限制增大后,问题是否解决,若解决,说明触发了简单过滤流量限制;

(7)     防御配置>全局参数>连接防护策略,TCP输入连接参数增大后,问题是否解决,若解决,说明触发了TCP输入流量连接数限制;

(8)     状态监控>屏蔽记录,是否有内容?若果有,重置后,问题是否解决,若解决,说明攻击地址被加入屏蔽(屏蔽记录中有屏蔽原因,请进一步确认是触发了什么造成的屏蔽);

(9)     状态监控>主机状态,点击IP地址进入主机设置页面,输入流量限制部分是否填写了参数?删除后问题是否解决,若解决,说明触发了输入流量限制;

4.6  主机状态中,TCP IN的连接一直不释放

4.6.1  故障描述

主机状态中,查看到防护主机的TCP连接一直没有释放,但是客户端已经断开了连接,且全局参数中的TCP连接超时时间已过。

4.6.2  故障处理步骤

此问题一般是因为防御配置>TCP端口保护中,开启了TCP连接的相应端口的保护,但是没有勾选“超时连接”。TCP端口保护恢复默认配置后,若问题未解决,请联系技术支持人员。

4.7  清洗设备+检测设备的旁路组网下,攻击结束、保护牵引时间已过,防护主机依然长期在牵引状态

4.7.1  故障描述

清洗设备+检测设备进行旁路组网,在攻击已经结束后,保护牵引时间已过,防护主机依然长时间处于牵引状态,即流量会首先通过动态路由将流量引到清洗设备,而不是直接到下层交换机。

4.7.2  故障处理步骤

如果出现这个问题,一般是防护主机在保护态时,用户在防御配置>全局参数>流量控制处,手动进行了“自动牵引”和“手动牵引”的切换。那只需要再进行一次攻击,然后停止,等待保护牵引时间过后,主机会自动出牵引态。也可以去配置路由的后台,比如通过BGP路由牵引的,需要telnet 管理口地址 28065,删除BGP路由中发布的network。具体命令如下:

telnet 183.1.0.29 28065

//183.1.0.29AFC管理口地址

password

H3C> enable

H3C# show running-config

Current configuration:

!

hostname H3C

password admin

log stdout

!

router bgp 65533

 bgp router-id 192.168.200.2

 bgp scan-time 5

 network 220.199.2.2/32    //这两个network为需要删除的地址

 network 220.199.2.3/32

 neighbor 192.168.200.1 remote-as 65534

 neighbor 192.168.200.1 soft-reconfiguration inbound

 neighbor 192.168.200.1 route-map afc out

 neighbor fc00::c0a8:c801 remote-as 65534

 neighbor fc00::c0a8:c801 soft-reconfiguration inbound

 neighbor fc00::c0a8:c801 route-map afc out

!

 address-family ipv6

 network fc00::ddc7:201/128

 neighbor fc00::c0a8:c801 activate

 exit-address-family

!

route-map afc permit 10

 set community no-export no-advertise

!

line vty

!

end      

H3C# configure terminal

H3C(config)# router bgp 65533

H3C(config-router)# no network network 220.199.2.2/32  //删除这两个network

H3C(config-router)# no network network 220.199.2.3/32

4.8  光电复用接口模式切换后不生效

4.8.1  故障描述

AFC设备光电复用接口模式切换后无法自适应。

4.8.2  故障处理步骤

光电复用接口模式切换后需要重启设备才能生效。