• 产品与解决方案
  • 行业解决方案
  • 服务
  • 支持
  • 合作伙伴
  • 新华三人才研学中心
  • 关于我们

H3C SeerEngine-DC Underlay自动化运维技术白皮书

Copyright © 2020 新华三技术有限公司 版权所有,保留一切权利。

非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,并不得以任何形式传播。

除新华三技术有限公司的商标外,本手册中出现的其它公司的商标、产品标识及商品名称,由各自权利人拥有。

本文档中的信息可能变动,恕不另行通知。



1 概述

1.1 产生背景

当前由云、网络、终端组成的IT基础架构正经历着巨大的技术变革,传统终端向智能化、移动化演进,传统IT架构也向云迁移,实现计算资源的弹性扩张、随需交付、应需而动。在此环境下,传统的一种应用一种架构的数据中心烟囱式架构,系统的可扩展性差、普适性差,已经不适用于云业务的部署要求。必须要对现有的IT基础架构进行变革,打通网络平台、云管理平台以及终端平台的界限,使整个IT系统成为一个融合架构,使其能够承载所有应用。

为了满足用户业务快速上线,需要解决基础设施快速部署和面向租户的资源分配,H3C推出基础设施自动化部署方案,解决了快速部署问题,实现与云平台的无缝对接,满足用户面向租户资源按需分配的需求。

随着数据中心设备部署规模越来越大,人工手动配置设备部署效率越来越低,而Underlay自动化技术部署可以提高设备部署效率,降低人力成本,实现大规模设备的快速部署。

1.2 技术优点

Underlay自动化上线功能在SeerEngine数据中心控制器的EVPN组网基础上,以Fabric为单位扩展设备自动部署功能,实现自动分配设备IP、控制器自动纳管设备、减少网络设备配置的需求,完成Underlay网络设备自动化快速部署,提高部署效率,降低人力成本。

2 Underlay自动化上线

2.1 概念介绍

2.1.1 网络层级

在数据中心组网中,最典型的组网是Spine-Leaf二层结构,如图所示。这种扁平化组网比多层架构有更好的流量收敛比以及更高的转发性能。在一些特定的领域,处于安全或者隔离的需求,会将网关分离,或者增加边界设备,都是基于Spine-Leaf架构进行组网扩展。

图1 网络层级示意图

2.1.2 Fabric

在Spine-Leaf的扁平化组网中,每个Spine-Leaf的网络可以作为一个独立的物理单元进行部署,这个物理单元我们称为Fabric。每个Fabric可以是一排独立的机架,或者一个独立的机房。Fabric架构的组网可以做到故障域隔离,并具备弹性扩展能力。一个Fabric内的设备异常不会影响其他Fabric的业务运行,不同Fabric间不需要Spine设备和所有的Leaf设备全互联,只需用各自提供一台Spine设备进行互联,即可实现Fabric间路由互通,简化了组网结构。

如需对网络进行扩容,只需新增一套Spine-Leaf组网,然后进行Fabric间互联就可以完成扩容,网络扩容也不再受Spine设备的端口数限制。

2.1.3 设备角色

在数据中心的网络结构中,设备在不同层次的网络中承担不同的角色,我们称之为设备角色(Device Role),主要包含以下角色:

· Spine角色:组网核心节点,南向和Leaf设备建立连接,北向可与外部网络连接实现外网通信。

· Leaf角色:接入层设备,用于接入用户的服务器。

· Aggregation角色:作为Spine和Leaf的中间层,主要用于一些特殊场景,用于拉通Spine和Leaf,扩充Spine接口。

2.1.4 设备类型

在Spine-Leaf的二层网络结构的基础上,还会有一些额外的组网需求,例如要求网关和Spine设备分离,要求部署安全隔离等。在这样的组网需求下,除了设备本身的功能外,有些设备需要承担边界网关的功能。我们为这些承担不同功能的设备划分了不同的设备类型(Device Type),主要包含以下几种:

· 边界设备:在VPC网络或者多Fabric组网中承担边界网关的功能。

· 接入设备:承担接入设备功能。

· Underlay物理设备:Underlay网络中,控制器通过NETCONF或SNMP南向协议进行管理的设备,该类型的设备不进行VXLAN报文的解封装,仅进行传统的二三层转发。

注意

在组网中,设备角色和设备类型配置方式建议为:

· 首先根据设备在组网中的位置,指定设备角色。

· 如果需要承担网关功能,则将设备类型指定为边界设备。

· 如果不需要承担网关功能,则Spine设备的设备类型推荐为Underlay物理设备,Leaf设备的设备类型推荐为接入设备。

2.1.5 自动化模板

自动化模板为自动化上线的设备定义了通用的配置信息,每个Fabric都可配置独立的自动化模板,设备自动化上线至指定的Fabric时,将使用该Fabric的自动化模板获取对应的配置信息。在控制器上,自动化模板是一个以template结尾的文件。自动化模板中包含三类信息:

· 基础设置,包含Fabric的Underlay协议和VXLAN转发预配置。

· 地址池设置,用来指定管理地址池、VTEP地址池和Undelay互通地址池。

· 设备配置模板,为指定设备角色配置对应的默认配置信息。

2.1.6 设备配置模板

设备在自动化上线后,将获取对应的设备配置模板中的配置作为默认配置。设备配置模板包含Spine模板和Leaf模板,包含了Spine和Leaf设备上线需要的配置信息。设备配置模板可以由用户全新创建,也可以从已有的设备模板中继承后修改生成。

2.1.7 设备清单

设备清单是以设备序列号为唯一标识的设备列表,用户可以向设备清单中手动添加设备信息,也可以通过设备清单模板批量导入设备信息。设备清单与白名单功能和精细化配置功能配合使用,提供用户设备信息。

2.1.8 白名单

在Underlay设备的自动化上线过程中,用户可能会希望部分设备通过自动化的方式上线,部分设备通过手动方式上线,例如用户可能希望手动纳管和配置边界设备。

白名单可以为用户提供灵活的自动化上线。在Fabric的设备配置模板中,用户可以使能白名单功能,然后在设备清单列表中输入需要上线的设备序列号;在白名单使能的情况下,上线过程中会检查设备是否在设备清单列表中,如果设备不在设备清单列表中,将不会进行自动化上线。

2.1.9 精细配置

在设备自动化方式上线过程中,会将配置模板中的配置下发到设备上,这些配置是设备的通用配置,假如用户希望对设备单独指定配置,比如设备角色,设备名称等,可以通过精细配置功能来实现。

手动添加设备清单时,可手动配置设备角色、设备名称等。批量导入设备清单时,可在设备清单模板中输入指定设备的配置。

2.1.10 TFTP服务

TFTP(Trivial File Transfer Protocol,简单文件传输协议)用于在TFTP服务器和TFTP客户端之间传输文件。

控制器作为TFTP的服务器端,对设备提供TFTP服务,设备作为TFTP的客户端,向控制器获取版本、模板文件和精细配置文件等信息。

2.1.11 DHCP server

DHCP(Dynamic Host Configuration Protocol,动态主机配置协议)采用客户端/服务器模式,由服务器为设备动态地分配IP地址等网络配置参数。

在设备自动化上线的过程中,控制器可以作为DHCP服务器,为设备分配管理IP地址。

2.1.12 版本库

控制器上可以存放设备侧的软件版本,在设备自动化上线过程中,设备可从控制器获取软件版本,用于设备版本升级等操作。

2.1.13 自动化上线地址池

设备自动化上线过程中,需要从DHCP获取一个IP地址用于与控制器通信,这个IP地址池称为自动化上线地址池。

2.1.14 管理网地址池

设备自动化上线过程中,控制器会为设备分配管理IP地址,控制器将通过该IP地址和设备的建立NETCONF等南向连接。用户可以通过设备清单指定管理IP地址,也可从管理IP地址池自动分配。

2.2 运行机制

2.2.1 配置流程

图2 配置流程示意图

2.2.2 运行流程

1. 自动化准备

进入自动化上线流程前,需要先进行配置准备工作。具体配置步骤如下:

(1) 启用TFTP与Syslog服务,使用集群IP作为TFTP服务器和Syslog服务器的IP地址。

(2) 创建Fabric,指定AS。

(3) 配置控制协议模板,控制协议模板主要涉及NETCONF协议用户密码、SNMP读写团体属性。

(4) 基于Fabric创建自动化配置,自动化配置包括3类配置。

· 基础配置:配置自动化模板的基础设置,包括Underlay协议等基础设置

· 地址池设置:配置自动化使用的DHCP服务器、IP地址池。

· 设备配置模板:设备配置模板信息,包含以下内容:

¡ 公共参数部分,模板名等信息。

¡ Spine模板,主要配置包括:

- BGP RR MAC,指定RR设备的MAC地址,用于Spine设备的路由反射

- Border MAC,用于确定哪台设备为边界设备

- OSPF进程ID,用于指定OSPF协议下设备工作进程号

- 其他配置还包括是否使能IRF堆叠、是否使能白名单功能等

¡ Aggregation设备用于扩充Spine设备端口,拉通Spine和Leaf设备,Aggregation模板主要配置包括:

- 是否使能IRF堆叠

- 是否使能白名单功能等

- OSPF进程ID,用于指定OSPF协议下设备工作进程号

¡ Leaf模板,主要配置包括:

- BGP RR MAC,指定RR设备的MAC地址,用于Leaf设备的路由反射

- Border MAC,用于确定哪台设备为Border设备

- OSPF进程ID,用于指定OSPF协议下设备工作进程号

- 其他配置还包括是否使能IRF堆叠、是否使能白名单功能等

(5) (可选)在设备清单中配置设备的精细化配置信息,生成设备清单文件(device_tag.csv)。设备清单中包含设备序列号和角色信息、VTEP IP地址、管理IP与设备系统名称等。

2. 自动化流程

图3 自动化流程示意图

设备空配置重启时,会自动进入自动化流程。设备的自动化流程和控制器的自动化流程共同构成了设备的自动化上线流程。具体步骤如下:

(2) 设备将从DHCP服务中获取自动化上线IP地址(从自动化上线地址池中分配),该IP地址下发至设备的管理接口。同时也获取到TFTP服务器地址和配置的自动化模板名称,模板名称以abc为例。设备根据默认角色和模板名称生成模板文件的名称abc_leaf.template或abc_spine.template,并向TFTP服务器获取该名称的模板,同时也获取到设备清单文件。

(3) 设备通过TFTP获取到设备清单文件和模板文件后,通过设备序列号匹配设备角色等精细配置,并根据设备模板文件下发配置。

· 若设备当前默认角色与设备清单中指定的角色不一致,会进行角色切换并自动重启,重新进入自动化流程

· 若设备当前版本与模板文件中指定的版本信息不一致,会从TFTP服务中获取设备版本自动升级并重启,重新进入自动化流程

(4) 控制器从TFTP服务中监听到设备获取自动化模板的请求,记录发起请求的设备的自动化上线IP地址和设备所使用的模板信息,尝试通过SNMP和NETCONF协议与设备进行连接。控制器同时向DHCP服务器下发此设备与自动化上线IP的静态绑定。

(5) 当控制器与设备连接成功并获取到设备序列号等信息时,控制器进入设备纳管流程。

(6) 控制器从VTEP IP地址池中分配VTEP IP下发到设备上。网络中的RR设备和其他非RR设备上线时,控制器将下发BGP配置到各自设备上,在设备间建立BGP对等体。

(7) 控制器基于设备的自动化上线IP,从管理IP地址池分配IP地址下发到设备管理接口上,替换自动化上线IP,成为设备的管理IP地址。自动化上线IP将被设备释放,控制器同时会将自动化上线IP的静态绑定从DHCP服务器中删除。

(8) 控制器使用设备的管理IP,自动创建设备资源,完成设备上线。

3 设备维护

3.1 设备版本升级

3.1.1 版本库管理

版本库支持的版本类型包含.ipe、.bin格式文件,分别用于设备的软件包升级、补丁包升级。

(1) 上传版本

选择支持的软件版本上传到版本库,上传完成后控制器会自动在集群中进行同步。当版本库的磁盘超过限制时,页面会进行弹框提示。

(2) 删除版本

用户可通过删除操作,及时删除不再使用的软件版本。

(3) 修改版本

支持修改软件版本的描述信息,支持标识版本为年度版本。使用年度版本的设备,会在设备列表页面特殊标识。

(4) 同步版本

上传版本时,如果同步给其他节点失败,可通过此功能再次进行版本同步。

(5) 详情

可查看版本名称、描述信息、版本类型、版本号、版本大小(Byte)、上传时间、状态、年度版本。

(6) 升级

单击指定软件版本的升级按钮进入升级页面,选择设备进行升级。如果用户欲选择的设备不在设备列表中,可勾选“全部设备”显示所有的设备信息。

3.1.2 升级流程

(1) 检查磁盘空间。检查设备上的磁盘分区是否满足软件版本大小的2倍,默认情况下,会自动搜索设备上的磁盘分区,直到找到满足要求的分区,用户也可以手动指定上传软件版本的目的磁盘分区。

(2) 控制器通过NETCONF获取设备上FTP server的全局开关状态,如果未使能,需要通过NETCONF通道使能设备的FTP server。

(3) 控制器通过NETCONF获取NETCONF用户下的FTP server开关状态,如果未使能,需要通过NETCONF通道使能该用户的FTP server。

(4) 控制器作为FTP client,设备作为FTP server,建立FTP连接。

(5) 使用FTP推送软件版本。控制器作为FTP client向设备指定磁盘分区推送软件版本,支持断点续传。

(6) 关闭设备上的NETCONF用户的FTP server开关。如果设备原始状态为使能状态,则此步骤不关闭,否则需要关闭。

(7) 关闭设备上的FTP server全局开关。如果设备原始状态为使能状态,则此步骤不关闭,否则需要关闭。

(8) 等待用户确认升级。考虑到后续的升级步骤对设备影响较大,上传完软件版本后,需要用户手动确认后,才能继续执行升级操作。

(9) 下发升级命令。使用待升级的软件版本,下发升级命令,命令下发成功之后,会自动删除软件版本。

(10) 保存配置,重启设备,完成升级。

如上几个阶段,任何一个动作失败,升级将会失败,提示失败的原因。用户可在排查失败原因后,使用“继续”功能继续升级。”待确认升级“表示升级会在此阶段暂停,需要用户单击”继续“确认后才可继续升级。

设备升级重启后,升级进度会显示为100%,用户可在设备处于在线状态后,观察运行版本号与升级版本号是否一致来判断升级最终是否成功。

3.2 设备备份和替换

3.2.1 设备备份

设备备份指通过控制器对设备的配置进行备份,同时存储到控制器上,设备备份可用于进行设备替换。

设备备份支持自动备份和手动备份。

· 自动备份,需要预先在控制器侧配置备份策略。打开备份开关、指定最大备份的文件个数、备份频率,配置完成后控制器会自动以指定频率对所有设备进行配置备份。

· 手动备份,可在控制器上对指定设备手动执行配置备份操作。

3.2.2 设备替换

设备出现故障后,可使用设备替换功能将其他可用设备替代故障设备。设备替换后,原设备的IP等管理信息不变。

设备替换支持在线设备替换和设备预替换:

· 在线替换。在线替换是指故障设备和替换设备同时为上线状态,创建替换热舞时,在控制器页面同时选择故障设备和替换设备,完成设备替换流程。

· 预替换。此方式下,替换设备未上线至控制器,创建替换任务时,需要手动输入替换设备的序列号,等待替换设备上线时完成故障设备的替换操作。

4 典型组网应用

4.1 自动化上线预配置

(1) 开启TFTP与Syslog服务服务,设置服务IP地址为集群IP地址。

图4 TFTP服务设置

(2) 创建Fabric,配置Fabric名称、AS号。

图5 创建Fabric

(3) 配置控制协议模板

图6 配置控制器协议模板

(4) 在Fabric自动纳管配置页面中,配置基础设置。

图7 自动纳管配置-基础设置

(5) 在地址池设置中,配置DHCP服务器、各类IP地址池信息。

图8 配置地址池设置

(6) 在设备配置模板界面,配置各个角色的模板信息。

图9 配置设备配置模板

图10 Spine模板信息

图11 Aggregation模板信息

图12 Leaf模板信息

(7) 配置设备清单,如果需要对设备进行精细化配置,可在设备清单中配置设备的序列号、角色、各类IP等预配置信息后,设备上线后会使用这些精细规划信息进行设备的纳管。

图13 配置设备清单

联系我们