选择区域语言: EN CN HK

INT技术白皮书-6W100

手册下载

INT技术白皮书

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Copyright © 2019 新华三技术有限公司 版权所有,保留一切权利。

非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,

并不得以任何形式传播。本文档中的信息可能变动,恕不另行通知。

H3C_彩色.emf

 



1 INT概述

1.1  INT技术的产生背景

近年来,数据中心网络技术发展迅速,但长期缺失对于流量管理和故障监控的关注。随着数据中心网络规模的迅速扩张,由于缺少可靠的自动化管理和运维平台,给网络管理和运维带来很大挑战。

在传统网络中,我们对报文做转发路径探测时,经常会使用雷达探测技术。但是雷达探测技术,需要控制器软件的干预。由于没有硬件的支持,一系列的设计实现都比较复杂,而且还不能完全模拟真实的报文转发。

PingTracert功能虽然可以定位网络延时和路径,但都不是很精确的方法。在对时延要求比较高的网络中,无法精准的定位出在哪台设备的哪个端口上转发最耗时,因而不能有针对性的优化网络架构。INTIn-band Network Telemetry,带内遥测)技术正是为了满足这一需求而生。

INT作为可视化技术的一个重要组成部分,是让网络管理和运维走向真正自动化的第一步,也是最关键的一步。通过INT技术,我们可以获知报文实际转发路径上的每台网络设备信息、报文在每台设备上的入出端口和队列信息,以及相应的时间戳信息等。

1.2  INT技术的优点

通过INT技术,我们可以监测到报文转发路径上每台设备的入出端口和队列信息,入出设备的时间戳信息,队列的拥塞信息等;并且在路径探测的最后一跳上,对监测的数据进行UDP头及IP头封装,发送给采集器。最终通过部署在采集器上的网管软件,对监测数据进行分析,提取有用信息。

INT技术的主要优点有:

·     完备的硬件支持

·     一次配置下发,持续数据上报

·     支持配置原始报文的采样率

·     通过QoS策略,可以灵活的调整需要进行路径探测的原始报文

·     在路径探测的最后一跳,直接封装报文并发送给采集器

·     收集探测路径上每台设备的设备信息、接口信息、队列信息、时间戳信息和转发路径信息等

1.3  INT技术的标准化

目前,INT技术已经正式在IETF上提出了Inband Flow Analyzer draft-kumar-ifa-00草案。在该草案中,对INT报文的固有头部和meta-data(即监测信息)的数据格式做了详细说明。对于支持该草案的网络设备来说,理论上可以实现INT报文分析处理的互通功能。

2 INT技术实现

2.1  INT组网模型

图2-1 INT组网图

 

2.2  INT相关概念介绍

·     首节点

INT网络中的首台设备,实现报文的采样和镜像到设备内部INT处理器,添加INT头及监测信息后,将报文发送给中间节点。

·     中间节点

INT网络中除首节点和尾节点外的设备,实现INT报文的自动识别,添加监测信息,将报文发送给下游节点。

·     尾节点

INT网络中的最后一跳设备,实现INT报文的自动识别,添加监测信息,根据用户配置的报文封装参数,对监测信息进行UDP头及IP头封装,发送给采集器。

·     流量入接口

对于首节点来说,是原始报文的入接口;对于中间节点和尾节点来说,是INT报文的入接口。

·     流量出接口

对于首节点和中间节点来说,是INT报文的出接口;对于尾节点来说,是封装报文的出接口。

·     INT处理器

INT处理器是CPU中专门用来处理INT报文的处理器;对于首节点的镜像报文来说,需要由INT处理器对其添加INT头,生成INT报文;对于尾节点来说,INT处理器将INT报文中监测信息的封装格式做一致性检查,然后对INT报文封装外层UDP头。

2.3  INT可采集的数据信息

INT可监测的数据信息主要有:

·     设备ID

报文转发路径上,每台设备的设备ID,即配置INT功能时指定的设备ID

·     流量入接口ID

报文在INT网络各个节点的逻辑入接口。

·     入接口时间戳

报文从各个节点的流量入接口进入设备时的设备本地时间。需要注意的是,对于首节点来说,是INT报文进入环回口的时间。

·     流量出接口ID

报文在INT网络各个节点的逻辑出接口。

·     出接口时间戳

报文从各个节点的流量出接口离开设备时的设备本地时间。

·     缓存信息

¡     队列ID

缓存原始报文的队列ID

¡     ECN信息

2.4  INT报文类型&报文格式

2.4.1  报文类型

INT报文主要有两种类型:INT over TCPINT over UDP

当原始报文为TCP时,镜像并插入INT报文头后的报文,我们称之为INT over TCP;当原始报文为UDP时,镜像并插入INT报文头后的报文,我们称之为INT over UDP

图2-2 INT over TCP

 

图2-3 INT over UDP

 

相关字段含义如下:

·     INT Probe HDRINT固有头部

·     MD #1Nmeta-data

2.4.2  报文格式

INT报文头主要由两部分组成:固有头部和监测信息。

图2-4 INT固有头部格式

 

INT报文固有头部格式如2-4所示,各字段含义如下:

·     Pobe Maker:设备通过此字段识别INT报文,目前固定填充为0xaaaaaaaabbbbbbbb

·     Version:目前固定填充为0x01

·     Message Type:消息类型,目前固定填充为0x01

·     Flags:保留字段,目前固定填充为0x0000

·     Telemetry Request Vector:目前固定填充为0xffffffff

·     Hop Limit:最大跳数

·     Hop Count:报文已经过网络节点数量

·     Maximum LengthINT报文采集数据的最大长度,单位为字节

·     Current LengthINT报文采集数据的当前长度,单位为字节

·     Sender`s Handle:由首节点自动填充,采集器根据此字段识别INT流,唯一标识流

·     Sequence NumberINT流中报文的序号,同一个流中报文的唯一标识

图2-5 INT监测信息meta-data格式

 

INT监测信息meta-data格式如2-5所示,各字段含义如下:

·     Device-ID:设备ID

·     Template-Id:保留字段,目前固定填充为000

·     Congestion:拥塞标志位,即ECN。高3位固定填充0,低2位为ECN域。

·     Egress Port Drop Pkt Byte Cnt Upper:出接口丢包数,单位为字节,目前固定填充为0x00

·     IP_TTL:报文的TTL值。

·     Queue-Id:出接口队列ID,目前固定填充为0x00

·     Rx Timestamp Seconds Upper/Rx Timestamp Seconds:入接口时间戳,单位为秒

·     Rx Timestamp Nano-Seconds Upper:入接口时间戳,单位为纳秒

·     Tx Timestamp Nano-Seconds Upper:出接口时间戳,单位为纳秒

·     Egress Port Utilization [%]:出接口利用率,目前固定填充为0x0000

·     Ingress Port [module, port]:入接口

·     Egress Port [module, port]:出接口

·     Egress Port Drop Pkt Byte Cnt:出接口丢包数,单位为字节,目前固定填充为0x00000000

2.5  运行机制

开启INT功能的设备,共同组成INT域,各个INT设备在域内承担着不同的角色,各角色及其实现的功能如下:

·     首节点

通过将QoS策略应用在Ingress接口的入方向上,实现对收到的流量进行流分类、并镜像至INT处理器。INT处理器对镜像报文插入INT固有头部,然后将其送回芯片的转发逻辑,添加监测信息,即meta-data,然后查表转发该报文。

·     中间节点

Transit接口自动识别INT报文,并对其添加监测信息,然后查表转发。

·     尾节点

Egress接口自动识别INT报文,并上送INT处理器,对其进行如下处理:

a.     添加监测信息,即meta-data

b.     在完整的INT报文(包含原始二层头)基础上,封装外层UDP头;

c.     根据用户配置的INT报文封装信息,封装报文的外层IP头;

d.     根据外层IP头中的地址,路由至远端采集器。

2.6  应用限制

目前仅S12500X-AF系列交换机的R320x版本和S6850S9820S9850产品支持INT功能,各型号以太网交换机使用限制如下:

·     S9820S12500X-AF交换机仅支持作为中间节点;

·     S6850S9850以太网交换机支持作为首节点、中间节点和尾节点;

·     S9850以太网交换机作为首节点时,需在Ingress接口所在接口组内,任选一个接口,开启INT内部环回功能,该功能将独占此接口,即此接口不能再做其他用途或配置其他数据。接口组分布情况可通过Probe视图下的display drv system 9命令查询,属于同一个Pipe的接口,既属于同一个接口组;

·     对于S9820以太网交换机,INT报文监测信息meta-data中的Ingress/Egress Port ID与以太网交换机面板口的对应关系,请参见2-1

表2-1 S9820-64H

面板口

TimeStamp Port ID

Port ID

端口拆分前

端口拆分后

H1/0/1

TW1/0/1:1

0

34

-

TW1/0/1:2

1

35

-

TW1/0/1:3

2

36

H1/0/2

TW1/0/1:4

3

37

H1/0/3

TW1/0/3:1

4

38

-

TW1/0/3:2

5

39

-

TW1/0/3:3

6

40

H1/0/4

TW1/0/3:4

7

41

H1/0/5

TW1/0/5:1

8

42

-

TW1/0/5:2

9

43

-

TW1/0/5:3

10

44

H1/0/6

TW1/0/5:4

11

45

H1/0/7

TW1/0/7:1

12

46

-

TW1/0/7:2

13

47

-

TW1/0/7:3

14

48

H1/0/8

TW1/0/7:4

15

49

H1/0/9

TW1/0/9:1

16

50

-

TW1/0/9:2

17

51

-

TW1/0/9:3

18

52

H1/0/10

TW1/0/9:4

19

53

H1/0/11

TW1/0/11:1

20

54

-

TW1/0/11:2

21

55

-

TW1/0/11:3

22

56

H1/0/12

TW1/0/11:4

23

57

H1/0/13

TW1/0/13:1

24

58

-

TW1/0/13:2

25

59

-

TW1/0/13:3

26

60

H1/0/14

TW1/0/13:4

27

61

H1/0/15

TW1/0/15:1

28

62

-

TW1/0/15:2

29

63

-

TW1/0/15:3

30

64

H1/0/16

TW1/0/15:4

31

65

H1/0/17

TW1/0/17:1

32

68

-

TW1/0/17:2

33

69

-

TW1/0/17:3

34

70

H1/0/18

TW1/0/17:4

35

71

H1/0/19

TW1/0/19:1

36

72

-

TW1/0/19:2

37

73

-

TW1/0/19:3

38

74

H1/0/20

TW1/0/19:4

39

75

H1/0/21

TW1/0/21:1

40

76

-

TW1/0/21:2

41

77

-

TW1/0/21:3

42

78

H1/0/22

TW1/0/21:4

43

79

H1/0/23

TW1/0/23:1

44

80

-

TW1/0/23:2

45

81

-

TW1/0/23:3

46

82

H1/0/24

TW1/0/23:4

47

83

H1/0/25

TW1/0/25:1

48

84

-

TW1/0/25:2

49

85

-

TW1/0/25:3

50

86

H1/0/26

TW1/0/25:4

51

87

H1/0/27

TW1/0/27:1

52

88

-

TW1/0/27:2

53

89

-

TW1/0/27:3

54

90

H1/0/28

TW1/0/27:4

55

91

H1/0/29

TW1/0/29:1

56

92

-

TW1/0/29:2

57

93

-

TW1/0/29:3

58

94

H1/0/30

TW1/0/29:4

59

95

H1/0/31

TW1/0/31:1

60

96

-

TW1/0/31:2

61

97

-

TW1/0/31:3

62

98

H1/0/32

TW1/0/31:4

63

99

H1/0/33

TW1/0/33:1

64

1

-

TW1/0/33:2

65

2

-

TW1/0/33:3

66

3

H1/0/34

TW1/0/33:4

67

4

H1/0/35

TW1/0/35:1

68

5

-

TW1/0/35:2

69

6

-

TW1/0/35:3

70

7

H1/0/36

TW1/0/35:4

71

8

H1/0/37

TW1/0/37:1

72

9

-

TW1/0/37:2

73

10

-

TW1/0/37:3

74

11

H1/0/38

TW1/0/37:4

75

12

H1/0/39

TW1/0/39:1

76

13

-

TW1/0/39:2

77

14

-

TW1/0/39:3

78

15

H1/0/40

TW1/0/39:4

79

16

H1/0/41

TW1/0/41:1

80

17

-

TW1/0/41:2

81

18

-

TW1/0/41:3

82

19

H1/0/42

TW1/0/41:4

83

20

H1/0/43

TW1/0/43:1

84

21

-

TW1/0/43:2

85

22

-

TW1/0/43:3

86

23

H1/0/44

TW1/0/43:4

87

24

H1/0/45

TW1/0/45:1

88

25

-

TW1/0/45:2

89

26

-

TW1/0/45:3

90

27

H1/0/46

TW1/0/45:4

91

28

H1/0/47

TW1/0/47:1

92

29

-

TW1/0/47:2

93

30

-

TW1/0/47:3

94

31

H1/0/48

TW1/0/47:4

95

32

H1/0/49

TW1/0/49:1

96

102

-

TW1/0/49:2

97

103

-

TW1/0/49:3

98

104

H1/0/50

TW1/0/49:4

99

105

H1/0/51

TW1/0/51:1

100

106

-

TW1/0/51:2

101

107

-

TW1/0/51:3

102

108

H1/0/52

TW1/0/51:4

103

109

H1/0/53

TW1/0/53:1

104

110

-

TW1/0/53:2

105

111

-

TW1/0/53:3

106

112

H1/0/54

TW1/0/53:4

107

113

H1/0/55

TW1/0/55:1

108

114

-

TW1/0/55:2

109

115

-

TW1/0/55:3

110

116

H1/0/56

TW1/0/55:4

111

117

H1/0/57

TW1/0/57:1

112

118

-

TW1/0/57:2

113

119

-

TW1/0/57:3

114

120

H1/0/58

TW1/0/57:4

115

121

H1/0/59

TW1/0/59:1

116

122

-

TW1/0/59:2

117

123

-

TW1/0/59:3

118

124

H1/0/60

TW1/0/59:4

119

125

H1/0/61

TW1/0/61:1

120

126

-

TW1/0/61:2

121

127

-

TW1/0/61:3

122

128

H1/0/62

TW1/0/61:4

123

129

H1/0/63

TW1/0/63:1

124

130

-

TW1/0/63:2

125

131

-

TW1/0/63:3

126

132

H1/0/64

TW1/0/63:4

127

133

 

3 典型组网应用

1. 组网需求

用户网络描述如下:采集器经三层网络与Device C的接口Twenty-FiveGigE1/0/3连接。

Device ADevice BDevice C上分别配置带内遥测功能,Device CINT报文上送采集器,供采集器测量链路时延等。

2. 组网图

 

3. 配置步骤

·     配置Device A

# 创建一个名为samp的采样器,采用随机采样方式,按照2的次方模式采样,采样率为8

<DeviceA> system-view

[DeviceA] sampler samp mode random packet-interval n-power 8

# 开启带内遥测功能。

[DeviceA] telemetry ifa global enable

# 创建类classifier1,匹配目的MAC地址为a08c-fdd7-fd99的报文。

[DeviceA] traffic classifier classifier1

[DeviceA-classifier-classifier1] if-match destination-mac a08c-fdd7-fd99

[DeviceA-classifier-classifier1] quit

# 创建流行为behavior1,动作为流量镜像到INT处理器,并引用采样器samp

[DeviceA] traffic behavior behavior1

[DeviceA-behavior-behavior1] mirror-to ifa-processor sampler samp

[DeviceA-behavior-behavior 1] quit

# 创建QoS策略,命名为ifa1,将流分类classifier1和流行为behavior1进行关联。

[DeviceA] qos policy ifa1

[DeviceA-qospolicy-ifa1] classifier classifier1 behavior behavior1

[DeviceA-qospolicy-ifa1] quit

# QoS策略ifa1应用到接口Twenty-FiveGigE1/0/1的入方向上。

[DeviceA] interface twenty-fivegige 1/0/1

[DeviceA-Twenty-FiveGigE1/0/1] qos apply policy ifa1 inbound

[DeviceA-Twenty-FiveGigE1/0/1] quit

# 配置带内遥测设备ID10.0.0.1

[DeviceA] telemetry ifa device-id 10.0.0.1

# 指定流量的入接口Twenty-FiveGigE1/0/1Ingress接口。

[DeviceA] interface twenty-fivegige 1/0/1

[DeviceA-Twenty-FiveGigE1/0/1] telemetry ifa role ingress

# 开启接口Twenty-FiveGigE1/0/3的内部环回功能。

说明

S9850以太网交换机需配置接口的内部环回功能。

 

[DeviceA] interface twenty-fivegige 1/0/3

[DeviceA-Twenty-FiveGigE1/0/3] telemetry ifa loopback

·     配置Device B

# 开启带内遥测功能。

<DeviceB> system-view

[DeviceB] telemetry ifa global enable

# 配置带内遥测设备ID10.0.0.2

[DeviceB] telemetry ifa device-id 10.0.0.2

# 指定流量的入接口Twenty-FiveGigE1/0/1Transit接口。

[DeviceB] interface twenty-fivegige 1/0/1

[DeviceB-Twenty-FiveGigE1/0/1] telemetry ifa role transit

·     配置Device C

# 开启带内遥测功能。

<DeviceC> system-view

[DeviceC] telemetry ifa global enable

# 配置带内遥测设备ID10.0.0.3

[DeviceC] telemetry ifa device-id 10.0.0.3

# 指定流量的入接口Twenty-FiveGigE1/0/1Egress接口。

[DeviceC] interface twenty-fivegige 1/0/1

[DeviceC-Twenty-FiveGigE1/0/1] telemetry ifa role egress

[DeviceC-Twenty-FiveGigE1/0/1] quit

# 配置带内遥测报文上送采集器时的封装参数。

[DeviceC] telemetry ifa collector source 20.0.0.2 destination 30.0.0.1 source-port 12 destination-port 14

4. 验证配置

# 查看Device A相关配置是否生效。

[DeviceA] display qos policy interface twenty-fivegige 1/0/1 inbound

Interface: Twenty-FiveGigE1/0/1

  Direction: Inbound

  Policy: ifa1

   Classifier: default-class

     Matched : 0 (Packets) 0 (Bytes)

     5-minute statistics:

      Forwarded: 0/0 (pps/bps)

      Dropped  : 0/0 (pps/bps)

     Operator: AND

     Rule(s) :

      If-match any

     Behavior: be

      -none-

   Classifier: classifier1

     Matched : 0 (Packets) 0 (Bytes)

     5-minute statistics:

      Forwarded: 0/0 (pps/bps)

      Dropped  : 0/0 (pps/bps)

     Operator: AND

     Rule(s) :

      If-match destination-mac a08c-fdd7-fd99

     Behavior: behavior1

      Mirroring:

        Mirror to the ifa-processor sampler samp

[DeviceA] display telemetry ifa

  Telemetry ifa status: Enabled

  Telemetry ifa device-id: 10.0.0.1

  Telemetry ifa role:

    Twenty-FiveGigE1/0/1: Ingress

  Telemetry ifa loopback:

    Twenty-FiveGigE1/0/3

# 查看Device B相关配置是否生效。

[DeviceB] display telemetry ifa

  Telemetry ifa status: Enabled

  Telemetry ifa device-id: 10.0.0.2

  Telemetry ifa role:

    Twenty-FiveGigE1/0/1: Transit

# 查看Device C相关配置是否生效。

[DeviceC] display telemetry ifa

  Telemetry ifa status: Enabled

  Telemetry ifa device-id: 10.0.0.3

  Telemetry ifa role:

    Twenty-FiveGigE1/0/1: Egress

  Telemetry ifa collector:

    Source IP: 20.0.0.2

    Destination IP: 30.0.0.1

    Source-port: 12

    Destination-port: 14