选择区域语言: EN CN HK

H3C S12500X-AF系列交换机 NetStream技术专题-6W100

手册下载

H3C S12500X-AF系列交换机

NetStream技术专题

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

资料版本:6W100-20190821

 

Copyright © 2019 新华三技术有限公司 版权所有,保留一切权利。

非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,并不得以任何形式传播。

除新华三技术有限公司的商标外,本手册中出现的其它公司的商标、产品标识及商品名称,由各自权利人拥有。

本文档中的信息可能变动,恕不另行通知



NetStream概述

1.1  NetStream产生背景

Internet的高速发展为用户提供了更高的带宽,支持的业务和应用日渐增多,传统流量统计如SNMP、端口镜像等,由于统计流量方式不灵活或是需要投资专用服务器成本高等原因,无法对网络进行更细致的管理,需要一种新技术来更好地支持网络流量统计。

为了应对企业网络管理中的这些问题,NetStream应运而生。NetStream是基于网络流信息的统计技术,定义了一种用于设备输出网络流量的统计数据的方法,设备对通过其的数据进行统计和分析,并上报给网络流量分析器,经合并处理后存入数据库,并进行进一步的分析处理。

NetStream技术可利用网络中数据流创造价值,并可在最大限度减小对NetStream性能影响的前提下提供详细的数据流统计信息。在网络的接入层、汇聚层、核心层上,都可以通过部署NetStream,以帮助网络管理人员了解企业内部网络运行状况,及时发现并解决网络中的性能瓶颈问题、网络异常现象,也能作为用户进行网络优化、网络设备投资、网络带宽优化的参考。

1.2  NetStream应用场景

NetStream技术的应用场景有以下几种:

·     计费:NetStream为基于资源(如线路、带宽、时段等)占用情况的计费提供了精细的数据。Internet服务提供商可以利用这些信息来实行灵活的计费策略,如基于时间、带宽、应用、服务质量等。企业客户可以使用这些信息计算部门费用或分配成本,以便有效利用资源。

·     网络规划:NetStream可以为网络管理工具提供关键信息,比如各个AS域之间的网络流量情况,以便优化网络设计和规划,实现以最小的网络运营成本达到最佳的网络性能和可靠性。

·     网络监控:通过在出口部署NetStream,对连接Internet网络的接口进行实时的流量监控,可以分析各种业务占用出口带宽的情况。网管人员可以根据这些信息判断网络的运行情况,尽早发现不合理的网络结构或是网络中的性能瓶颈,方便网管人员规划和分配网络资源。

·     用户监控和分析:通过NetStream技术可以使网络管理者轻松获取用户使用网络和应用资源的详细情况,进而用于高效地规划以及分配网络资源,并保障网络的安全运行。

NetStream技术实现

NetStreamIPv4报文头部的L2L3MPLS标签、VXLAN报文的UDP头等信息进行解析,报文头信息相同的报文属于同一条流。NetStream除了可以逐流统计,也可以将多个具有某些相同特征的流聚合成一条聚合流进行统计。

2.1  NetStream系统组成

一个典型的NetStream系统由NDENetStream Data Exporter,网络流数据输出者)、NSCNetStream Collector,网络流数据收集者)和NDANetStream Data Analyzer,网络流数据分析者)三部分组成。

·     NDE

NDE根据七元组对网络流进行分类,提取符合条件的流进行统计,并将统计信息上报给NSC设备。输出前也可对数据进行一些处理,比如聚合。配置了NetStream功能的设备在NetStream系统中担当NDE角色。

·     NSC

NSC通常为运行于某种操作系统上的一个应用程序,负责解析来自NDE的报文,把统计数据收集到数据库中,可供NDA进行解析。NSC可以采集多个NDE设备输出的数据。

·     NDA

NDA是一个网络流量分析工具,它从NSC中提取统计数据,进行进一步的加工处理,生成报表,为各种业务提供依据(比如流量计费、网络规划,攻击监测)。NDA可以提取多个NSC中的数据。通常,NDA具有图形化用户界面,可以使用户方便地获取、显示和分析收集到的数据。

NSCNDA可以集成在一台NetStream服务器上。

图1 NetStream系统中的设备角色

 

2.2  功能介绍

2.2.1  NetStream流老化

NetStream流老化是设备向NetStream服务器输出流统计信息的一种手段。当设备开启NetStream功能后,流统计信息首先会被存储在设备的NetStream缓冲区中。当存储在设备上的NetStream流信息老化后,设备会把缓冲区中的流统计信息通过指定版本的NetStream发送给NetStream服务器,同时清除缓冲区中的对应信息。

NetStream支持按时老化和强制老化。

1. 按时老化

·     流的不活跃老化:从采集到的最后一个报文开始,该流在指定的时间内没有被采集到,那么设备会向NetStream服务器输出该流的统计信息,这种老化称为流的不活跃老化。通过这种老化,可以清除设备上NetStream缓冲区中的无用表项,充分利用统计表项资源。

·     流的活跃老化:从采集到的第一个报文开始,该流在指定的时间内能被采集到。活跃时间超过设定的时长后,需要输出该流的统计信息,这种老化称为流的活跃老化。设备向NetStream服务器输出流的统计信息后,因为该流还存在,所以设备会继续统计该流。这种老化方式是设备定期向NetStream服务器输出流统计信息的一种机制。

2. 强制老化

·     手工强制老化:执行命令强制将NetStream缓冲区中所有流老化、输出,并清空NetStream缓冲区信息。

·     最大数目老化:当NetStream流缓存区中流表项的数目达到指定的最大数目时,强制老化部分流表项。

2.2.2  NetStream流输出

1. 普通流输出

普通流输出是指所有流的统计信息都要被统计。在流老化后,每条流的统计信息都要输出到NetStream服务器。

普通流输出的优点是,NetStream服务器可以得到每条流的详细统计信息。但其缺点也是很明显的,这种方式增加了网络带宽和设备的CPU占有率,而且为了存储这些信息,需要大量的存储介质空间。

2. 聚合流输出

聚合流输出是指设备对与聚合关键项完全相同的流的统计信息进行汇总,从而得到对应的聚合流统计信息,并将该聚合统计信息发送到相应的NetStream服务器。

目前,聚合流输出支持的聚合方式如所示。系统根据选择的聚合方式的聚合关键项,将聚合关键项相同的多条流的统计信息合并为一条聚合流的统计信息,记录该聚合流的统计信息。这些聚合方式相互独立,可以同时配置。

例如,设备采集到四条TCP流,其目的地址相同、源地址不同、源端口和目的端口均为10。选择1中的“协议-端口聚合”方式,该聚合方式的依据为“协议号、源端口、目的端口”。因为这四条TCP流的源端口、目的端口和协议号相同,所以在聚合流统计表项中只会记录一条聚合流统计信息。设备只将聚合统计信息发送给相应的NetStream服务器。由此可见,聚合的最大好处是可以减少对网络带宽的占用。

表1 聚合流输出支持的聚合方式

聚合方式

聚合关键项

协议-端口聚合(protocol-port

协议号、源端口、目的端口、VXLAN ID

源前缀聚合(source-prefix

AS号、源掩码长度(源IP的掩码长度)、源前缀(源IP的网络地址)、输入接口索引、VXLAN ID

目的前缀聚合(destination-prefix

目的AS号、目的掩码长度(目的IP的掩码长度)、目的前缀(目的IP的网络地址)、输出接口索引、VXLAN ID

源和目的前缀聚合(prefix

AS号、目的AS号、源掩码长度、目的掩码长度、源前缀、目的前缀、输入接口索引、输出接口索引、VXLAN ID

前缀-端口聚合(prefix-port

源前缀、目的前缀、源掩码长度、目的掩码长度、ToS、协议号、源端口、目的端口、输入接口索引、输出接口索引、VXLAN ID

服务类型-源前缀聚合(tos-source-prefix

ToS、源AS号、源前缀、源掩码长度、输入接口索引、VXLAN ID

服务类型-目的前缀聚合(tos-destination-prefix

ToS、目的AS号、目的掩码长度、目的前缀、输出接口索引、VXLAN ID

服务类型-前缀聚合(tos-prefix

ToS、源AS号、源前缀、源掩码长度、目的AS号、目的掩码长度、目的前缀、输入接口索引、输出接口索引、VXLAN ID

服务类型-协议-端口聚合(tos-protocol-port

ToS、协议类型、源端口、目的端口、输入接口索引、输出接口索引、VXLAN ID

 

2.2.3  NetStream流输出格式

目前NetStream输出的报文主要有5910三个版本。

·     版本5:根据七元组产生原始的数据流,不支持聚合流输出,报文格式固定,不易扩展。

·     版本9:基于模板方式,模板可在遵循RFC定义的模板格式的前提下自定义。版本9支持聚合流输出,支持对BGP下一跳信息和MPLS报文的统计输出。

·     版本10:基于模板方式,模板可在遵循RFC定义的模板格式的前提下自定义。版本10支持聚合流输出,支持对BGP下一跳信息和MPLS报文的统计输出。版本10输出格式符合IPFIX协议规定。

2.2.4  NetStream过滤功能

NetStream可以与ACLAccess Control List,访问控制列表)配合使用,NetStream只统计ACL筛选出的报文。通过这种方式可以使NetStream只对用户关注的数据进行统计,更能满足用户多样的统计要求。

2.2.5  NetStream采样功能

NetStream可以与Sampler(采样器)配合使用。通过设定适当的采样率,即在指定的多个报文中抽取一个报文进行采样。不但减少了统计的报文数量,也可以保证收集到的统计信息基本正确地反映整个网络流的状况。另外,采样还可以减小网络的流量,避免网络中的大流量对设备转发性能造成影响。

典型组网应用

3.1  NetStream普通流的统计信息输出配置举例

3.1.1  组网需求

Device上启动NetStream功能。要求在FortyGigE1/0/1上配置NetStream的入方向与出方向的统计功能,并将NetStream普通流的统计信息输出到iMC服务器。iMC服务器的IP地址为12.110.2.2/16UDP端口号为5000

3.1.2  组网图

图2 NetStream普通流的统计信息输出配置组网图

 

3.1.3  配置Device

(1)     配置IP地址

请配置各接口的IP地址和子网掩码,具体配置过程略。

(2)     配置NetStream统计功能

# FortyGigE1/0/1上启动NetStream的入方向与出方向的统计功能。

<Device> system-view

[Device] interface fortygige 1/0/1

[Device-FortyGigE1/0/1] ip netstream inbound

[Device-FortyGigE1/0/1] ip netstream outbound

[Device-FortyGigE1/0/1] quit

# 配置NetStream普通流统计信息输出的目的地址为12.110.2.2和目的UDP端口号为5000

[Device] ip netstream export host 12.110.2.2 5000

3.1.4  配置iMC

说明

此举例中应用iMC服务器版本为PLAT 7.3 (E0504)

 

1. 增加设备

(1)     登录iMC,选择“业务”页签,在左导航树中选择[流量分析与审计/配置管理],进入配置管理页面。

(2)     点击“设备管理”链接,进入设备列表页面。

(3)     单击<增加>按钮,进入增加设备页面。

(4)     增加设备的方法有两种:

¡     输入设备IP地址、名称、SNMP团体字及端口号,直接增加设备。

¡     单击<选择设备>按钮,从iMC平台中选择设备。

(5)     单击<确定>按钮,增加设备完成。

图3 增加设备

3 (4)

 

2. 下发服务器配置

(1)     在配置管理页面,点击“服务器管理”链接,进入服务器列表页面。

(2)     点击服务器对应的“修改”图标icon_modify_16x16.png,进入服务器配置页面。

(3)     确保监听端口有5000,选择之前增加的Device设备,其他参数可保持默认。

(4)     单击<下发>按钮下发服务器配置。

图4 服务器配置

 

3. 增加流量分析任务

(1)     在配置管理页面,点击“流量分析任务管理”链接,进入流量分析任务管理页面。

(2)     在流量分析任务列表中,单击<增加>按钮,进入选择任务类型页面。

(3)     选择“接口”任务类型,单击<下一步>按钮,进入增加流量分析任务参数配置页面。

(4)     配置如下参数:

¡     任务名称:输入“Interface”,

¡     任务读者:单击<选择读者>按钮,在弹出的操作员组列表页面选择可以查看该任务的操作员群组,单击<确定>按钮。

¡     基线分析:下拉框中选择“启用”。

启用基线分析后,在下方会出现“启用基于基线的自动异常检测”和“基线阈值设置”参数配置。

¡     启用基于基线的自动异常检测:在下拉框中选择“不启用”。

¡     阈值告警:在下拉框中选择“启用”。启用阈值告警后,下方会出现“阈值设置”参数配置。

¡     基线阈值设置:

-     入流量阈值输入“40”。

-     出流量阈值输入“30”。

¡     阈值设置:

-     入流量阈值在输入框中输入“50”,在下拉框中选择“Mbps”。

-     出流量阈值在输入框中输入“30”,在下拉框中选择“Mbps”。

¡     单击<选择接口>按钮,选择接口FortyGigE1/0/2

其他参数保持默认。

(5)     单击<确定>按钮,增加接口流量分析任务完成。

图5 增加接口流量分析任务

 

3.1.5  Device端配置验证

设备运行一段时间后,查看NetStream普通流的统计信息。

# 查看NetStream流缓冲区信息。

[Device] display ip netstream cache

IP NetStream cache information:

  Active flow timeout             : 5 min

  Inactive flow timeout           : 300 sec

  Max number of entries           : 1048576

  IP active flow entries          : 2

  MPLS active flow entries        : 0

  L2 active flow entries          : 0

  IPL2 active flow entries        : 0

  IP flow entries counted         : 0

  MPLS flow entries counted       : 0

  L2 flow entries counted         : 0

  IPL2 flow entries counted       : 0

  Last statistics resetting time  : Never

 

IP packet size distribution (11 packets in total):

 

 1-32   64   96  128  160  192  224  256  288  320  352  384  416  448  480

 .000 .000 .909 .000 .000 .090 .000 .000 .000 .000 .000 .000 .000 .000 .000

 

  512  544  576 1024 1536 2048 2560 3072 3584 4096 4608 >4608

 .000 .000 .000 .000 .000 .000 .000 .000 .000 .000 .000 .000

 

 Protocol          Total  Packets    Flows  Packets Active(sec) Idle(sec)

                   Flows  /sec       /sec   /flow   /flow       /flow

---------------------------------------------------------------------------

 

Type DstIP(Port)            SrcIP(Port)            Pro ToS If(Direct)  Pkts

     DstMAC(VLAN)           SrcMAC(VLAN)

     TopLblType(IP/MASK)    Lbl-Exp-S-List

---------------------------------------------------------------------------

IP   10.1.1.1 (21)         100.1.1.2(1024)         1   0   FGE1/0/1(I) 5

IP   100.1.1.2 (1024)      10.1.1.1 (21)           1   0   FGE1/0/1(O) 5

# 查看NetStream统计输出报文的各种信息。

[Device] display ip netstream export

IP export information:

  Flow source interface                           : Not specified

  Flow destination VPN instance                   : Not specified

  Flow destination IP address (UDP)               : 12.110.2.2 (5000)

  Version 5 exported flow number                  : 0

  Version 5 exported UDP datagram number (failed) : 0 (0)

  Version 9 exported flow number                  : 10

  Version 9 exported UDP datagram number (failed) : 10 (0)

3.1.6  iMC端配置验证

1. 查看接口流量分析汇总报表

选择“业务”页签,在左导航树中选择[流量分析与审计/接口流量分析任务],进入接口流量分析汇总报表页面。

图6 接口流量分析汇总报表

 

2. 查看接口流量分析任务Interface的流量分析报表

(1)     查看Interface的流量分析报表有两种方法:

a.     选择“业务”页签,在左导航树中选择[流量分析与审计/接口流量分析任务],进入接口流量分析汇总报表页面。在“汇总列表”区域,点击任务名称为“Interface”的链接。

b.     将鼠标移至左导航树中“接口流量分析任务”链接右侧的快捷菜单图标上,在弹出的快捷菜单中点击“Interface”链接。

图7 Interface的流量分析报表页面

 

(2)     系统默认显示“流量”分析报表。

(3)     选择“应用”页签,查看Interface的应用分析报表。

图8 Interface的应用分析报表

 

3.2  NetStream聚合流的统计信息输出配置举例

3.2.1  组网需求

Device上配置NetStream功能,具体要求为:

·     普通流的统计信息使用版本5格式输出到iMC服务器。iMC服务器的IP地址为4.1.1.1/16UDP端口号为5000

·     使用版本8格式对4种聚合流(protocol-portsource-prefixdestination-prefixprefix)进行统计,并将各聚合流分别输出到该iMC服务器的3000400060007000端口。

3.2.2  组网图

图9 NetStream聚合流的统计信息输出配置组网图

 

3.2.3  配置步骤

(1)     配置IP地址和EBGP协议

请配置各接口的IP地址和子网掩码,并在网络之间运行EBGP协议,具体配置过程略。

(2)     配置NetStream统计功能

# NetStream统计输出报文为版本5,并设置流信息中记录的自治系统号为起始自治系统号。

<Device> system-view

[Device] ip netstream export version 5 origin-as

# FortyGigE1/0/1上启动NetStream的入方向与出方向的统计功能。

[Device] interface fortygige 1/0/1

[Device-FortyGigE1/0/1] ip netstream inbound

[Device-FortyGigE1/0/1] ip netstream outbound

[Device-FortyGigE1/0/1] quit

# 配置普通流统计信息输出的目的地址为4.1.1.1和目的UDP端口号为5000

[Device] ip netstream export host 4.1.1.1 5000

# 配置协议-端口聚合模式,以及该聚合流统计信息输出的目的地址为4.1.1.1和目的UDP端口号为3000

[Device] ip netstream aggregation protocol-port

[Device-ns-aggregation-protport] enable

[Device-ns-aggregation-protport] ip netstream export host 4.1.1.1 3000

[Device-ns-aggregation-protport] quit

# 配置源前缀聚合模式,以及该聚合流统计信息输出的目的地址为4.1.1.1和目的UDP端口号为4000

[Device] ip netstream aggregation source-prefix

[Device-ns-aggregation-srcpre] enable

[Device-ns-aggregation-srcpre] ip netstream export host 4.1.1.1 4000

[Device-ns-aggregation-srcpre] quit

# 配置目的前缀聚合模式,以及该聚合流统计信息输出的目的地址为4.1.1.1和目的UDP端口号为6000

[Device] ip netstream aggregation destination-prefix

[Device-ns-aggregation-dstpre] enable

[Device-ns-aggregation-dstpre] ip netstream export host 4.1.1.1 6000

[Device-ns-aggregation-dstpre] quit

# 配置前缀聚合模式,以及该聚合流统计信息输出的目的地址为4.1.1.1和目的UDP端口号为7000

[Device] ip netstream aggregation prefix

[Device-ns-aggregation-prefix] enable

[Device-ns-aggregation-prefix] ip netstream export host 4.1.1.1 7000

[Device-ns-aggregation-prefix] quit

3.2.4  iMC配置

具体配置过程的详细介绍,请参见“3.1.4  配置iMC”。

3.2.5  Device端配置验证

# 查看NetStream统计输出报文的各种信息。

[Device] display ip netstream export

protocol-port aggregation export information:

  Flow source interface                           : Not specified

  Flow destination VPN instance                   : Not specified

  Flow destination IP address (UDP)               : 4.1.1.1 (3000)

  Version 8 exported flow number                  : 2

  Version 8 exported UDP datagram number (failed) : 2 (0)

  Version 9 exported flow number                  : 0

  Version 9 exported UDP datagram number (failed) : 0 (0)

 

source-prefix aggregation export information:

  Flow source interface                           : Not specified

  Flow destination VPN instance                   : Not specified

  Flow destination IP address (UDP)               : 4.1.1.1 (4000)

  Version 8 exported flow number                  : 2

  Version 8 exported UDP datagram number (failed) : 2 (0)

  Version 9 exported flow number                  : 0

  Version 9 exported UDP datagram number (failed) : 0 (0)

 

destination-prefix aggregation export information:

  Flow source interface                           : Not specified

  Flow destination VPN instance                   : Not specified

  Flow destination IP address (UDP)               : 4.1.1.1 (6000)

  Version 8 exported flow number                  : 2

  Version 8 exported UDP datagram number (failed) : 2 (0)

  Version 9 exported flow number                  : 0

  Version 9 exported UDP datagram number (failed) : 0 (0)

 

prefix aggregation export information:

  Flow source interface                           : Not specified

  Flow destination VPN instance                   : Not specified

  Flow destination IP address (UDP)               : 4.1.1.1 (7000)

  Version 8 exported flow number                  : 2

  Version 8 exported UDP datagram number (failed) : 2 (0)

  Version 9 exported flow number                  : 0

  Version 9 exported UDP datagram number (failed) : 0 (0)

 

IP export information:

  Flow source interface                           : Not specified

  Flow destination VPN instance                   : Not specified

  Flow destination IP address (UDP)               : 4.1.1.1 (5000)

  Version 5 exported flow number                  : 10

  Version 5 exported UDP datagram number (failed) : 10 (0)

  Version 9 exported flow number                  : 0

  Version 9 exported UDP datagram number (failed) : 0 (0)

3.2.6  iMC端配置验证

具体配置过程的详细介绍,请参见“3.1.6  iMC端配置验证”。