AD-WAN分支6.6

统一数字底盘及组件部署指导

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

资料版本：5W103-20240930

 

目  录

1 概述··· 1-1

2 部署流程··· 2-1

3 安装前准备··· 3-1

3.1 服务器配置要求·· 3-1

3.1.1 硬件配置需求·· 3-1

3.1.2 软件配置需求·· 3-1

3.2 客户端配置需求·· 3-1

4 组网规划··· 4-1

4.1 组网图·· 4-1

4.2 磁盘RAID和分区规划·· 4-2

4.3 IP地址规划·· 4-3

4.3.1 单栈·· 4-4

4.3.2 双栈·· 4-6

5 统一数字底盘安装和部署··· 5-1

5.1 部署Matrix集群·· 5-1

5.2 批量上传组件安装包·· 5-1

5.3 安装统一数字底盘·· 5-3

5.4 登录统一数字底盘·· 5-3

6 应用组件部署··· 6-1

6.1 部署必选的NSM基础网管组件·· 6-1

6.2 使用Matrix融合部署页面部署SDWAN控制组件·· 6-3

6.2.1 进入融合部署页面·· 6-3

6.2.2 安装包管理·· 6-3

6.2.3 应用选择·· 6-3

6.2.4 安装包选择·· 6-4

6.2.5 参数配置·· 6-5

6.2.6 调整limit值·· 6-6

6.3 部署可选的应用组件·· 6-6

6.3.1 部署安全控制组件·· 6-6

6.3.2 部署分析组件·· 6-9

7 软件注册··· 7-1

8 备份恢复··· 8-1

8.1 备份参数配置·· 8-1

8.2 备份执行·· 8-3

8.3 恢复数据·· 8-4

8.3.1 使用本地备份文件进行恢复·· 8-5

8.3.2 使用历史备份文件进行恢复·· 8-5

9 3+3灾备部署··· 9-1

9.1 安装前准备·· 9-1

9.2 组网规划·· 9-1

9.2.1 组网图·· 9-1

9.2.2 磁盘RAID和分区规划·· 9-2

9.2.3 IP地址网络规划·· 9-2

9.3 统一数字底盘安装和部署·· 9-2

9.4 控制组件部署·· 9-2

9.5 软件注册·· 9-2

9.6 禁用备集群WebSocket服务·· 9-2

9.7 配置WebSocket注册地址·· 9-4

9.8 备份恢复·· 9-4

9.8.1 配置备份参数·· 9-4

9.8.2 执行备份·· 9-6

9.8.3 远端备份·· 9-8

9.8.4 同步文件·· 9-9

9.8.5 执行恢复·· 9-9

9.8.6 License连接恢复·· 9-11

9.8.7 禁用主集群WebSocket服务·· 9-11

9.8.8 启用备集群WebSocket服务·· 9-11

9.8.9 修改北向IP（可选）·· 9-11

9.8.10 备份参数配置修改·· 9-13

9.8.11 检查恢复结果·· 9-13

10 异地容灾··· 10-1

10.1 部署前准备·· 10-1

10.1.1 确认主备集群之间网络通信状况·· 10-1

10.1.2 确认灾备站点之间端口放通·· 10-1

10.2 建立容灾关系·· 10-3

10.2.1 在独立服务器上部署仲裁服务（可选）·· 10-4

10.2.2 配置Websocket模板·· 10-4

10.2.3 配置License连接·· 10-5

10.2.4 建立容灾关系·· 10-6

10.3 管理容灾系统·· 10-8

10.3.1 更新容灾系统配置·· 10-8

10.3.2 手动进行主备倒换·· 10-9

10.4 拆除容灾关系·· 10-10

10.4.1 删除Websocket Server配置·· 10-10

10.4.2 备份数据·· 10-11

10.4.3 删除容灾关系·· 10-11

11 附录··· 11-1

11.1 调整websocket、kafka内存limit值·· 11-1

11.1.1 调整websocket内存limit值·· 11-1

11.1.2 调整kafka内存limit值·· 11-2

 

1 概述

SeerEngine-SDWAN是构建广域网的控制组件，可实现WAN分支场景的业务自动化和智能流量调度。

SeerEngine-SDWAN基于统一数字底盘运行，需要先安装统一数字底盘，作为统一数字底盘的组件进行部署。统一数字底盘的安装和部署基于Matrix，该平台基于Kubernetes，实现了对Docker容器的编排调度。Matrix主要用于Kubernetes集群的搭建，微服务的部署，以及系统、Docker容器、微服务等的运维监控。

本文仅介绍AD-WAN分支解决方案相关组件的部署流程以及对服务器资源和磁盘分区的要求。如果涉及服务器资源和硬件配置要求，可以参考《AD-NET解决方案硬件配置指导》。

如果涉及统一数字底盘及Matrix的升级或者卸载以及各组件的部署，可以参考《H3C 统一数字底盘部署指导》、《H3C SeerEngine-SDWAN组件部署指导》、《H3C SeerAnalyzer 安装部署指导》。参考的产品版本文档应当与方案配套表产品版本匹配。

 

2 部署流程

单机或集群部署流程参考图2-1。

图2-1 单机/集群部署流程图

 

3 安装前准备

3.1  服务器配置要求

3.1.1  硬件配置需求

统一数字底盘各组件支持使用共享存储作为存储。各业务场景是否支持共享存储，请参考《AD-NET解决方案硬件配置指导》和相应业务场景的部署指导中的硬件配置要求。为提高性能和稳定性，建

议系统数据分区使用本地存储，业务数据分区使用共享存储。

 

3.1.2  软件配置需求

统一数字底盘x86版本，支持多种操作系统并且基于Matrix 安装。

·     在H3Linux的镜像文件中集成了操作系统、Matrix 等应用软件包。在完成H3Linux操作系统安装后，将自动安装需要的依赖包及Matrix。因此用户无需手动安装依赖包及Matrix。

·     非H3Linux 操作系统，需要先部署操作系统及依赖包，再部署Matrix。

具体统一数字底盘支持的操作系统及版本，请参见《H3C统一数字底盘部署指导》。

3.2  客户端配置需求

用户不需要安装客户端软件，使用浏览器即可访问统一数字底盘。推荐使用的浏览器为Google Chrome 70及以上版本，Firefox 78及以上版本，不建议使用其它浏览器。

表3-1 客户端配置要求

操作系统	硬件要求	浏览器配置要求
Windows（简 体中文版）	主频2.0G Hz（以上）、内存2GB（以 上）、硬盘50GB（以上）、100M网 卡（以上）、声卡	·     关闭浏览器的弹出窗口阻塞设置 ·     必须使能浏览器的Cookies ·     iMC站点加入受信任站点 ·     客户端分辨率显示宽度至少为1600x900 ·     推荐使用Firefox 78及以上版本 ·     推荐使用Chrome 70及以上版本

 

 

4 组网规划

AD-WAN分支方案安装中组网规划包括两个方面：

·     硬盘RAID和分区规划

·     IP地址规划

在开始部署前，请先完成对应的组网规划。

4.1  组网图

图4-1 组网图

 

 

4.2  磁盘RAID和分区规划

根据不同的业务量和不同的服务器配置需求进行不同的磁盘RAID和分区规划。

 

配置磁盘RAID后硬盘容量大小请参考《AD-NET解决方案硬件配置指导》，硬盘分区规划参见表4-1。如需部署仲裁服务节点，磁盘分区规划请参考表4-2，如需部署SeerAnalyzer组件，需要增加数据盘分区，请根据实际网络规模和业务数据量选择参考表4-3或表4-4。

表4-1 磁盘RAID和分区规划

磁盘RAID规划	挂载点	最低容量	适用模式	备注
2*1.92TB，RAID1	/var/lib/docker	350 GiB	BIOS模式/UEFI模式	磁盘空间充足时，可适当扩容
	/boot	1 GiB	BIOS模式/UEFI模式	-
	swap	1 GiB	BIOS模式/UEFI模式	SeerAnalyzer+SDWAN融合场景，建议至少配置4GiB
	/var/lib/ssdata	700GiB	BIOS模式/UEFI模式	磁盘空间充足时，可适当扩容
	/	350 GiB	BIOS模式/UEFI模式	磁盘空间充足时，可适当扩容
	/boot/efi	0.2 GiB	UEFI模式	-
	预留磁盘空间	450 GiB	-	GlusterFS使用，需要后台进行手动分区。
2*50GB，RAID1	/var/lib/etcd	50 GiB	BIOS模式/UEFI模式	不强制挂载一个单独的磁盘

 

表4-2 仲裁服务器磁盘规划

节点名称	节点配置数量	单节点详细配置
仲裁服务节点	1	·     CPU：32核主频，2*（2*Hygon G5 5380 16核，2.5GHz） ·     内存：16GB及以上 ·     磁盘：需要配置RAID，RAID模式可选RAID1、RAID10。以下配置任选其一 ·     磁盘配置1： ¡     系统盘：2*480GB SSD，RAID1（RAID配置后的磁盘总容量需大于等于256GB），IOPS至少5000次/s ¡     ETCD盘：2*480GB SSD，RAID1（RAID配置后的磁盘总容量需大于等于50GB），安装路径：/var/lib/etcd ·     磁盘配置2： ¡     系统盘：2*600GB HDD，RAID1（RAID配置后的磁盘总容量需大于等于256GB），7.2K RPM 以上机械硬盘，IOPS至少5000次/s ¡     ETCD盘：2*600GB HDD，RAID1（RAID配置后的磁盘总容量需大于等于50GB），7.2K RPM 以上机械硬盘，安装路径：/var/lib/etcd ¡     RAID卡1GB Cache，支持数据掉电保护且超级电容必须在位 ·     网口：1个网口，1*10Gbps及以上带宽

 

表4-3 WAN场景SeerAnalyzer数据盘分区规划1

磁盘RAID后容量	分区名称	挂载点	推荐最小容量	文件系统类型
2TB	/dev/sdc1	/sa_data	400GB	ext4类型
	/dev/sdc2	/sa_data/mpp_data	950GB	ext4类型
	/dev/sdc3	/sa_data/kafka_data	450GB	ext4类型

 

表4-4 WAN场景SeerAnalyzer数据盘分区规划2

磁盘RAID后容量	分区名称	挂载点	推荐最小容量	文件系统类型
4TB	/dev/sdc1	/sa_data	400GB	ext4类型
	/dev/sdc2	/sa_data/mpp_data	2200GB	ext4类型
	/dev/sdc3	/sa_data/kafka_data	1000GB	ext4类型

 

 

4.3  IP地址规划

服务器网卡配置需求：

·     普通模型：单网卡模型，1*1Gbps及以上带宽或1*10Gbps及以上带宽。

·     冗余模式(工作模式推荐配置为mode2或mode4）：2*1Gbps Linux Bonding或2*10Gbps及以上带宽。

冗余模式配置方式可以参考《H3C 统一数字底盘配置指导》，请根据实际配套情况参考对应版本的配置指导。

 

4.3.1  单栈

IP地址可为IPv4或IPv6。

(1)     单机部署场景下IP地址规划参考表4-5。

表4-5 单机部署场景IP地址规划（单栈）

IP地址类型	地址个数	说明	备注
统一数字底盘集群节点IP地址	1个	必选，部署统一数字底盘的主机IP地址	统一数字底盘
统一数字底盘北向业务虚IP地址	1个	必选，统一数字底盘集群对外提供服务的IP地址
SeerEngine-SEC安全控制组件南向地址	2个	1个主机地址，1个集群IP地址	SeerEngine-SEC安全控制组件
仲裁系统	1个	可选，部署自动倒换模式的异地容灾系统时需要	异地灾备的第三方仲裁系统，部署在独立的服务器上，提供异地灾备场景主备自动切换
SeerAnalyzer分析组件	0个	南北向网络合一	推荐南北向网络合一，分析组件数据采集共用统一数字底盘的网络，不单独创建附加网络

 

(2)     集群部署场景下IP地址规划参考表4-6。以IPv4单栈为例，集群部署场景下IP地址规划举例如表4-7所示。

表4-6 集群部署场景IP地址规划（单栈）

IP地址类型	地址个数	说明	备注
统一数字底盘集群节点IP地址	3个	必选，部署统一数字底盘的主机IP地址	统一数字底盘
统一数字底盘北向业务虚IP地址	1个	必选，统一数字底盘集群对外提供服务的IP地址
Worker节点IP	N个（N≥0）	可选，为Worker节点分配的IP地址
License Server虚拟IP	1个	License Server配置高可靠，需要增加一个虚拟IP	License Server
SeerEngine-SEC安全控制组件南向地址	4个	3个主机地址，1个集群IP地址	SeerEngine-SEC安全控制组件
仲裁系统	1个	可选，部署自动倒换模式的异地容灾系统时需要	异地灾备的第三方仲裁系统，部署在独立的服务器上，提供异地灾备场景主备自动切换
SeerAnalyzer分析组件	0个	南北向网络合一	推荐南北向网络合一，分析组件数据采集共用统一数字底盘的网络，不单独创建附加网络

 

表4-7 集群部署场景IP地址举例（单栈）

IP地址类型	地址个数	IP地址	备注
统一数字底盘集群节点IP地	3个（IPv4）	192.168.40.145 192.168.40.146 192.168.40.147	掩码：255.255.255.0 网关：192.168.40.1
统一数字底盘北向业务虚IP地址	1个（IPv4）	192.168.40.148
Worker节点IP	3个（IPv4）	192.168.40.149 192.168.40.150 192.168.40.151
License Server虚拟IP	1个（IPv4）	192.168.40.152
SeerEngine-SEC安全控制组件南向地址	4个（IPv4）	集群地址： 192.168.30.153 主机地址： 192.168.30.154 192.168.30.155 192.168.30.156	-
SeerAnalyzer分析组件	0个	-
仲裁系统服务器IP	1个（IPv4）	192.168.40.160	掩码：255.255.255.0 网关：192.168.40.1

 

4.3.2  双栈

(1)     开启双栈，单机部署场景下IP地址规划参考表4-8。

表4-8 单机部署场景IP地址规划（双栈）

IP地址类型	地址个数	说明	备注
统一数字底盘集群节点IP地址	IPv4和IPv6各1个	必选，部署统一数字底盘的主机IP地址	统一数字底盘
统一数字底盘北向业务虚IP地址	1个（IPv4或IPv6）	必选，统一数字底盘集群对外提供服务的IP地址，北向业务虚IP至少配置一个IPv4或IPv6，不可同时配置两个相同协议的IP。
SeerEngine-SEC安全控制组件南向地址	不支持双栈	不支持双栈	SeerEngine-SEC安全控制组件
仲裁系统	1个（IPv4或IPv6）	可选，部署自动倒换模式的异地容灾系统时需要	异地灾备的第三方仲裁系统，部署在独立的服务器上，提供异地灾备场景主备自动切换
SeerAnalyzer分析组件	0个	南北向网络合一	推荐南北向网络合一，分析组件数据采集共用统一数字底盘的网络，不单独创建附加网络

 

(2)     开启双栈，集群部署场景下IP地址规划参考表4-9所示。

表4-9 集群部署场景IP地址规划（双栈）

IP地址类型	地址个数	说明	备注
统一数字底盘集群节点IP地址	IPv4和IPv6各3个	必选，部署统一数字底盘的主机IP地址	统一数字底盘
统一数字底盘北向业务虚IP地址	1个（IPv4或IPv6）	必选，统一数字底盘集群对外提供服务的IP地址，北向业务虚IP至少配置一个IPv4或IPv6，不可同时配置两个相同协议的IP
Worker节点IP	N个（N≥0，IPv4和IPv6）	可选，为Worker节点分配的IP地址
License Server虚拟IP	IPv4和IPv6各1个	License Server配置高可靠，需要增加一个虚拟IP	License Server
SeerEngine-SEC安全控制组件南向地址	IPv4和IPv6各4个	3个主机地址，1个集群IP地址	SeerEngine-SEC安全控制组件
仲裁系统	1个（IPv4或IPv6）	可选，部署自动倒换模式的异地容灾系统时需要	异地灾备的第三方仲裁系统，部署在独立的服务器上，提供异地灾备场景主备自动切换
SeerAnalyzer分析组件	0	南北向网络合一	推荐南北向网络合一，分析组件数据采集共用统一数字底盘的网络，不单独创建附加网络

 

5 统一数字底盘安装和部署

统一数字底盘和License Server的具体安装步骤请参见《H3C 统一数字底盘部署指导》。推荐选取两台服务器勾选安装License Server，配置License Server HA。

 

5.1  部署Matrix集群

参考《H3C统一数字底盘部署指导》，创建Matrix集群。

5.2  批量上传组件安装包

使用系统缺省的admin用户（默认密码：Pwd@12345）登录Matrix（登录网址：https://ip_address:8443/matrix/ui），其中“ip_address”为北向业务虚IP地址。

进入[部署>应用]页面，选择“部署应用”，单击<上传>按钮，先批量上传安装包，需要上传并安装的安装包如表5-1所示。

表5-1 应用安装包说明

安装包名称	功能说明	方案选择	融合部署依赖
UDTP_Middle_<version>.zip	中间件镜像库	必选	广域网分支
UDTP_GlusterFS_<version>.zip	提供产品内本地共享存储功能	必选	广域网分支
UDTP_Core_<version>_x86.zip	门户、统一认证、用户管理、服务网关、帮助中心、权限、资源身份、License、配置中心、资源组、日志服务	必选	广域网分支
BMP_IMonitor_<version>_x86.zip	提供自监控服务	必选（SDWAN R6810H03以下版本必选）	广域网分支（SDWAN R6810H03以下版本必选）
BMP_Report_<version>_x86.zip	报表	必选	广域网分支
BMP_Alarm_<version>_x86.zip	提供告警服务	必选	广域网分支
BMP_WebSocket_<version>_x86.zip	南向Websocket功能	必选	广域网分支
BMP_Dashboard_<version>_x86.zip	大屏框架	必选	广域网分支
BMP_Widget_<version>_x86.zip	平台大屏Widget	必选	广域网分支
BMP_Template_<version>_x86.zip	模板服务	必选	广域网分支
BMP_QuickReport_<version>_x86.zip	快速报表	必选（SDWAN R6810H03以下版本必选）	广域网分支（SDWAN R6810H03以下版本必选）
BMP_OneClickCheck_<version>_x86.zip	健康检查	必选	广域网分支
BMP_Subscription_<version>_x86.zip	订阅服务	必选	广域网分支
BMP_RDR_<version>_x86.zip	异地容灾	可选	否
NSM_FCAPS-Res_<version>_x86.zip	网络设备的发现、纳管和基本信息管理	必选（融合部署）	广域网分支
NSM_FCAPS-Topo_<version>_x86.zip	自定义拓扑、IP拓扑	必选（手工部署）	否
NSM_FCAPS-Perf_<version>_x86.zip	网络性能监控	必选（手工部署）	否
NSM_FCAPS-ICC_<version>_x86.zip	设备备份、恢复、版本升级	必选（手工部署）	否
NSM_FCAPS-Asset_<version>_x86.zip	网络资产管理	必选（手工部署）	否
NSM_FCAPS-Webdm_<version>_x86.zip	设备面板	可选（手工部署）	否
NSM_Tools_<version>_x86.zip	SSH代理登录工具、Mib Browser工具	可选	否
WAN_WVAS_<version>_x86.zip	QoS管理服务	必选	广域网分支
H3C_SEERENGINE_SDWAN-<version>.zip	为系统提供广域网分支网络管理服务	必选	否
SeerEngine-SEC-<version>.zip	安全控制组件	可选	否
Analyzer-AI-<version>_x86_64.zip	AI智能预测组件	SeerAnalyzer+SDWAN融合场景下为必选	否
Analyzer-Collector-<version>_x86_64.zip	公共采集组件	SeerAnalyzer+SDWAN融合场景下为必选	否
Analyzer-Diagnosis-<version>_x86_64.zip	诊断分析组件	SeerAnalyzer+SDWAN融合场景下为必选	否
Analyzer-Platform-<version>_x86_64.zip	基础平台组件	SeerAnalyzer+SDWAN融合场景下为必选	否
Analyzer-Telemetry-<version>_x86_64.zip	指标分析组件	SeerAnalyzer+SDWAN融合场景下为必选	否
Analyzer-WAN-<version>_x86_64.zip	WAN应用分析组件	SeerAnalyzer+SDWAN融合场景下为必选	否

 

5.3  安装统一数字底盘

参考《H3C 统一数字底盘部署指导》，完成统一数字底盘的安装。

5.4  登录统一数字底盘

统一数字底盘提供友好的GUI界面。完成统一数字底盘的安装后，可按照如下方式登录统一数字底盘。

(1)     在浏览器中输入统一数字底盘登录地址（默认登录地址：http://ip_address:30000/central），回车后会进入如图5-1所示登录界面。

¡     ip_address：统一数字底盘所在Matrix的集群北向业务虚IP地址。

¡     30000：端口号。

(2)     输入操作员名称和密码，缺省用户名为admin，默认密码为Pwd@12345。

图5-1 统一数字底盘登录页面

 

6 应用组件部署

 

6.1  部署必选的NSM基础网管组件

 

(1)     使用admin用户（默认密码：Pwd@12345）登录Matrix（登录网址：https://ip_address:8443/matrix/ui）。其中“ip_address”为北向业务虚IP地址。

(2)     进入[部署 > 融合部署]页面，选择“安装”，进入应用选择页面，参考表5-1，勾选所有必选NSM基础网管组件的组件进行部署。单击<下一步>按钮进入安装包选择界面。

图6-1 部署应用页面

 

图6-2 选择安装包

 

(3)     在安装包选择页面，选择对应组件的应用包版本号。单击<下一步>按钮进入参数配置界面。

图6-3 安装包选择

 

(4)     在配置参数页面根据组件需求，配置相关参数。配置完成后单击<部署>按钮，即可开始进行NSM基础网管组件部署。

图6-4 部署NSM基础网管组件

 

6.2  使用Matrix融合部署页面部署SDWAN控制组件

6.2.1  进入融合部署页面

(1)     使用admin用户（默认密码：Pwd@12345）登录Matrix（登录网址：https://ip_address:8443/matrix/ui）。其中“ip_address”为北向业务虚IP地址。

(2)     单击[部署>融合部署]菜单项，进入融合部署页面。如图6-5所示。

图6-5 融合部署页面

 

6.2.2  安装包管理

单击<安装包管理>按钮，进入安装包管理页面。该页面支持对安装包进行上传、删除等操作。上传完成的安装包将展示名称、版本、大小、创建时间等信息。如图6-6页面所示。应用安装包支持批量上传。安装包上传完成后，单击，返回融合部署页面。

图6-6 上传安装包

 

6.2.3  应用选择

融合部署页面单击<安装>按钮，进入应用选择页面。在应用选择页面勾选广域网分支应用（其依赖的应用会被默认勾选，应用间的依赖关系请参见图6-7），参考表5-1勾选需要安装的组件，单击<下一步>按钮，进入安装包选择页面。

图6-7 应用选择

 

6.2.4  安装包选择

在安装包选择页面，支持选择应用包版本号，如图6-8所示。单击<下一步>按钮，进入参数配置页面。

图6-8 安装包选择

 

6.2.5  参数配置

 

在参数配置页面可根据各组件需求，配置相关参数。配置完成后单击<部署>按钮，即可开始部署组件。

若需要部署SDWAN MSP场景，请开启MSP场景部署开关。

图6-9 QoSM应用参数配置

 

图6-10 SeerEngine-SDWAN控制组件参数配置

 

图6-11 部署组件

 

6.2.6  调整limit值

控制器安装完成后建议调整limit值，请参见附录11.1  调整websocket、kafka内存limit值。

6.3  部署可选的应用组件

6.3.1  部署安全控制组件

 

(1)     参考5.4  登录统一数字底盘，登录统一数字底盘。

(2)     单击[系统 > 部署管理]菜单项，进入部署管理页面，单击<安装>按钮，进入部署向导页面。单击<上传>按钮，进入上传安装包页面，在弹出窗口中选择并上传相应的安装包。

图6-12 部署管理页面

 

图6-13 部署向导页面

 

图6-14 上传安装包页面

 

(3)     安装包上传完毕后，单击<下一步>按钮，进入组件选择页面，在“控制组件”的下拉菜单中勾选“安全控制组件”，选择对应版本的安装包，单击<下一步>按钮。

图6-15 组件选择页面

 

(4)     继续单击<下一步>按钮至网络配置页面，创建绑定网络和子网，用于分配安全控制组件的互联IP地址。

图6-16 创建网络

 

 

(5)     继续单击<下一步>按钮至网络绑定页面，选择创建好的网络和子网完成绑定。

图6-17 网络绑定页面

 

(6)     单击<下一步>按钮至参数确认页面，确认集群IP和容器内网卡IP地址无误后单击<部署>按钮，进行安全控制组件部署，如图6-18所示。

图6-18 参数确认页面

 

图6-19 安全控制组件部署完成

 

6.3.2  部署分析组件

 

具体安装步骤请参见《H3C SeerAnalyzer 安装部署指导》。

7 软件注册

目前各组件均支持试用License，可以直接使用试用License进行测试。

现网实际部署时需要注册正式License，关于授权的申请和安装过程，请参见《H3C 软件产品远程授权License 使用指南》。

 

在License Server上安装产品的授权后，只需在产品的License管理页面与License Server建立连接即可获取授权，操作步骤如下：

(1)     参考5.4  登录统一数字底盘，登录统一数字底盘。

(2)     单击[系统 > License管理 > License信息]菜单项，进入License信息页面，如图7-1所示。

图7-1 License信息

 

(3)     配置如下信息：

¡     IP地址：License Server所在服务器的IP地址。

¡     端口号：缺省值为5555，与License Server授权服务端口号保持一致。

¡     客户端名：License Server中配置的客户端名称。

¡     客户端密码：License Server中配置的客户端名称对应的密码。

¡     单击<连接>按钮，与License Server建立连接，连接成功后可自动获取授权信息。

 

8 备份恢复

控制组件支持备份恢复功能，可以通过页面备份并恢复控制组件数据。

8.1  备份参数配置

使用admin账号登录控制组件，进入[系统 > 备份恢复]页面，单击<备份参数配置>按钮，在弹出窗口中设置备份参数，如图8-1所示。

图8-1 备份参数配置

 

关键参数说明：

·     前缀名：指的是备份后的文件名前缀。

·     文件个数：指的是保留文件总个数。

·     远端备份：打开即开启远端备份。

·     传输协议：支持FTP和SFTP协议，选择FTP协议。

·     协议端口：指的是FTP或SFTP的服务端口。

·     服务器IP：指的是远端备份服务器的IP地址。

·     文件路径：指的是备份文件的存储路径，需要注意的是root用户可以写绝对路径，普通用户只能写相对路径。

·     用户名/密码：FTP连接使用的用户名和密码。

·     远端数据清理：是否开启远端数据清理功能。

·     定时备份：是否开启定时备份功能。

·     频率/时间：定时备份的频率和备份时间。

·     清理：远端数据清理开关。

·     文件路径：表示从远端传输过来的备份文件的存放路径，必须是绝对路径。

·     清理策略：表示按照备份文件的个数或者按照天数，保留备份文件的数量，清理时间是每隔一个小时轮询清理一次。

·     定时备份：是否开启定时备份功能。

·     频率/时间：定时备份的频率和备份时间。

·     底盘数据备份：是否开启对底盘运维数据及license数据进行备份功能。

·     性能监控数据备份：对网络设备监控中，根据性能指标采集而产生的监控数据进行备份。

·     Trap数据备份：对系统接收到的Trap数据进行备份。

·     告警数据备份：对系统中活动告警和历史告警数据进行备份。

·     License数据备份：对License数据进行备份。

·     磁盘评估：在备份或者恢复之前，判断master节点备份恢复工作目录所在的磁盘分区利用率是否大于等于85%，分区利用率小于85%的情况下，继续判断本次备份或者恢复预估需要占用空间大小（4倍的数据文件大小）加上备份恢复工作目录所在的磁盘分区已使用的空间大小除以工作目录所在分区的总空间是否大于等于85%，如果磁盘利用率大于等于85%或者计算出的比例大于等于85%，终止本次的备份或者恢复。

·     超时时间：单个组件一次备份/恢复操作允许执行的最长时间。超过此时长，则认为本次备份/恢复操作失败。

8.2  备份执行

根据备份参数设置，系统可以自动执行备份，用户也可以手动进行备份。

操作步骤如下：

(1)     使用系统默认的admin用户登录控制组件集群，进入[系统 > 备份恢复]页面。

(2)     单击<开始备份>按钮，选择SYSTEM和SeerEngine-SDWAN两个组件执行备份操作，如图8-2所示。

图8-2 手动备份

 

(3)     等待一段时间后备份完成。主用控制组件集群提示备份完成后，后台还在执行远端备份，即将该备份文件SFTP传输到备用控制组件集群，远端备份完成后，也会弹窗提示完成。因文件大小和传输速度不同，远程备份时间长短不一，请耐心等待。

(4)     备份完成后，页面会显示备份记录，如图8-3所示。其中后面“_M”后缀表示手动备份的文件，“_A”后缀表示自动备份的文件。

图8-3 备份记录

 

8.3  恢复数据

 

8.3.1  使用本地备份文件进行恢复

(1)     使用系统默认的admin用户登录备控制组件集群，进入[系统>备份恢复]页面，单击选择备份文件，单击<上传>按钮进行上传。

(2)     上传完成后，单击<开始恢复>按钮进行恢复，如图8-4所示，请耐心等待恢复完成，恢复过程中请勿关闭或刷新此页面。

图8-4 本地备份文件执行恢复

 

(3)     恢复完成后，检查环境对应数据是否已经恢复成功。

8.3.2  使用历史备份文件进行恢复

使用系统默认的admin用户登录备控制组件集群，进入[系统>备份恢复]页面，在备份历史找到需要恢复的备份文件，单击列表操作列的恢复按钮执行恢复，需要对SYSTM备份文件和SeerEngine-SDWAN备份文件进行恢复，如图8-5所示。耐心等待恢复完成。

图8-5 历史备份文件进行恢复

 

恢复完成后，检查环境对应数据是否已经恢复成功。

9 3+3灾备部署

为了实现高可靠性，SeerEngine-SDWAN控制组件支持3+3灾备部署模型。部署两套相同版本的集群环境，其中一套作为主用集群环境，另一套作为备用集群环境。

主备集群安装的组件和版本必须保证完全一致，且主备集群各节点的主机名也需要保证一致，否则网络相关数据可能恢复失败。

9.1  安装前准备

主备集群使用的服务器需要保持一致，包括硬盘、内存和网卡等配置信息。

具体安装前准备可以参考3 安装前准备。

9.2  组网规划

9.2.1  组网图

图9-1 组网图

 

 

9.2.2  磁盘RAID和分区规划

主备集群使用的RAID和分区规划需要保持一致。

具体RAID和分区规划可以参考4.2  磁盘RAID和分区规划。

9.2.3  IP地址网络规划

通用场景下主备集群需要部署在两个不同的机房，因此需要规划两套集群地址。

主备集群地址的数量和要求相同，具体地址需求可以参考4.3  IP地址规划。

9.3  统一数字底盘安装和部署

主备集群分别完成统一数字底盘安装，需要保证安装的组件和版本完全一致，安装需求参考5 统一数字底盘安装和部署。

9.4  控制组件部署

主备集群分别完成SeerEngine-SDWAN控制组件部署，需要保证SeerEngine-SDWAN控制组件版本一致，安装流程参考6 应用组件部署。

9.5  软件注册

主备集群需要分别注册License，License注册步骤参考7 软件注册。

9.6  禁用备集群WebSocket服务

(1)     使用系统缺省的admin用户（默认密码：Pwd@12345）登录Matrix（登录网址：http://ip_address:8443/matrix/ui）。

(2)     进入[系统>安全>安全策略]页面，单击<新增>按钮，进入新增安全策略页面，单击<新增>按钮，增加一条新的规则，协议类型选择为TCP，目标端口为19443，动作拒绝，如图9-2所示，禁止设备访问集群的WebSocket服务。

图9-2 新增规则

 

(3)     单击<应用>按钮完成规则添加，显示新增策略，如图9-3所示。单击<应用>按钮完成策略添加。

图9-3 新增策略

 

(4)     在安全策略页面单击对应策略后面的启用按钮，启用安全策略。安全策略启用后如图9-4所示，WebSocket服务被阻止。

图9-4 启用策略

 

9.7  配置WebSocket注册地址

SeerEngine-SDWAN控制组件纳管设备时需要补充配置，将备集群的统一北向地址配置为WebSocket注册地址，使设备能够从主集群切换连接到备集群。

登录设备，增加配置命令如下：

cloud-management backup-server domain 192.168.30.145 port 19443 //灾备集群统一北向地址

图9-5 配置WebSocket注册地址

 

9.8  备份恢复

9.8.1  配置备份参数

 

(1)     使用非root用户传输时的SFTP服务配置

 

a.     SSH登录主备环境每个Master节点的后台，然后执行如下命令：

useradd  remote (账号名)

passwd remote    更改密码

chown remote:remote /home/remote/

chmod 755 /home/remote/

mkdir /home/remote/upload

chmod 755 /home/remote/upload/

chown remote:remote /home/remote/upload/

chmod 755 /home/remote/upload/（路径）

图9-6 新建用户以及路径参考配置

 

(2)     登录主环境，根据页面提示配置备份参数，开启远端备份。

图9-7 配置主环境备份参数

 

(3)     登录备环境，进入[备份恢复]页面，开启远端备份，填写“服务器IP”、“文件路径”、“用户名”和“密码”。

 

图9-8 配置备环境备份参数

 

9.8.2  执行备份

(1)     在主环境单击<开始备份>按钮，勾选对应组件，单击<备份>按钮，开始备份。备份完成后，进行下一步。

图9-9 执行备份

 

(2)     查询备份配置中心的regionid，并记录regionid：

a.     访问http://IP地址:端口号/confcenterrs/swagger-ui.html，输入信息查询regionid，如图9-10所示。

图9-10 查询regionid

 

b.     获取regionid，如图9-11所示。

图9-11 获取regionid

 

9.8.3  远端备份

(1)     组件备份完成后。若开启了远端备份，备份文件会自动远程传输到备环境上主Master节点的对应的路径下，主环境页面会提示远程传输成功。

(2)     传输完成后，可到备环境主Master节点对应的文件路径下查看文件是否存在。

图9-12 确认文件存在

 

 

9.8.4  同步文件

(1)     在备环境的备份恢复页面上，单击<同步文件>按钮，将远端备份文件从自定义路径同步到各Master节点的/opt/matrix/app/data/base-service/backupRecovery/historyFiles/目录下，同步完成后，主环境的备份文件显示在页面的备份历史列表中。

图9-13 同步文件

 

¡     当远端备份开启时，是将主环境传输过来的备份文件（文件是在自定义配置的路径下），同步到备环境所有Master节点的/opt/matrix/app/data/base-service/backupRecovery/historyFiles/目录下。

¡     当远端备份关闭时，是将本环境各Master节点的/opt/matrix/app/data/base-service/backupRecovery/historyFiles/目录下文件进行同步，使得各Master节点此目录下文件保持一致。

¡     当文件同步到backup-pod-xxxxxxxxx-xxxxx所在节点的/opt/matrix/app/data/base-service/backupRecovery/historyFiles/目录下后，备份恢复的备份历史列表中才会显示出对应的文件。

9.8.5  执行恢复

当主环境出现故障需要使用备环境时，可执行以下步骤，在备环境上恢复主环境备份的数据。

(1)     根据上述步骤获取的配置中心ID，恢复配置中心的regionid。请求接口和配置参数，如图9-14所示。

图9-14 修改备环境的regionid

 

(2)     在备环境的[备份恢复]页面，单击主环境远端备份传输备份文件列表操作列“恢复”按钮，执行恢复。耐心等待恢复完成，期间不要关闭或刷新此页面。

 

图9-15 执行恢复

 

9.8.6  License连接恢复

若License Server是独立服务器搭建的（即不是安装在主环境的某个节点上）。在备环境上执行恢复后，连接信息也会恢复，备环境会自动尝试连接上原License Server，获得授权。如果发现连接异常，可手动断开后重新连接。如果断开连接失败，可能是因为重连定时器将锁占用了，请稍后重试。

若原主环境Portal页面仍可登录，可打开License管理菜单，断开License连接。如果原主环境无法登录，可登录License Server页面，将主环境的客户端强制下线。

若License Server是安装在主环境的某个节点上。主环境故障，License Server将不可用，需要另行准备License Server供备环境连接，准备方法同原主环境。

9.8.7  禁用主集群WebSocket服务

停止主集群的WebSocket服务，配置过程参考9.6  禁用备集群WebSocket服务。

9.8.8  启用备集群WebSocket服务

使用系统缺省的admin用户（默认密码：Pwd@12345）登录Matrix（登录网址：https://ip_address:8443/matrix/ui），进入[系统>安全>安全策略]页面，在安全策略页面单击对应策略后面的禁用按钮，禁用安全策略，如图9-16所示。安全策略禁用后，WebSocket服务被放通。

图9-16 禁用安全策略

 

9.8.9  修改北向IP（可选）

 

登录备环境的Matrix页面，修改其北向业务虚IP为主环境的北向IP，方法如下：

(1)     使用备环境的主Master节点的IP，打开Matrix页面。

(2)     打开[部署>集群>集群参数]页面，单击[修改]按钮。

图9-17 集群参数页面

 

(3)     勾选下面的[高级]选项，修改“北向业务虚IP”为主环境的北向业务虚IP，然后单击右上角的[应用]按钮，耐心等待执行完成。

图9-18 修改集群参数页面

 

图9-19 修改集群参数

 

图9-20 应用集群参数

 

(4)     修改成功后，可以通过修改后的北向IP登录备环境。

9.8.10  备份参数配置修改

恢复完成后，备环境的备份参数会被恢复为主环境的配置。请重新配置为正确合理的值。

·     建议开启备环境的远端备份功能，并填写新的SFTP服务器。

·     建议开启备环境的定时备份功能。

9.8.11  检查恢复结果

恢复完成后，登录节点的远程控制台，后台查看所有pod的运行状况，无异常（pod状态都为Running或者Completed）。查询节点状态命令：kubectl get pods --all-namespaces

检查各菜单是否能够正常打开，数据是否恢复成功，各功能是否正常。

确认一切正常后，可将主环境从网络中断开连接、下电、维修。

10 异地容灾

异地灾备系统是指处于异地的两个站点之间进行主备灾备，主备站点上的组件之间互为备份。异地灾备系统正常运行时，对外提供服务站点的数据实时向对端站点同步，确保两站点间的数据一致。用户可通过界面操作配置手动或者带仲裁的自动倒换，当对外提供服务的站点出现故障时，例如整站点断电、站点网络故障、站点和外界相连的链路故障等，故障站点的业务可被另一个站点接管，保持业务连续性，减少损失。

 

10.1  部署前准备

10.1.1  确认主备集群之间网络通信状况

在创建灾备系统过程中，请保证主备站点间的网络通信状态符合如下表10-1中的要求，否则可能会导致灾备配置失败。

表10-1 灾备网络通信要求

网络	具体要求
主备站点之间内部通信网络	时延<500ms，带宽>=100Mbps
主备站点到仲裁节点之间通信网络	时延<500ms，带宽>=10Mbps

 

10.1.2  确认灾备站点之间端口放通

若灾备站点之间存在防火墙，如图10-1所示，请在防火墙侧放通相关端口。主备集群控制组件之间需要双向放通，涉及的端口参见表10-2。仲裁服务器与主集群、备集群之间也需要双向放通，涉及的端口参见表10-3。主备服务器集群和License Server之间需要放通，涉及的端口参见表10-4。

图10-1 异地灾备场景

 

表10-2 主备集群控制组件之间防火墙放通端口策略

组件	源IP	源端口	目的IP	目的端口	协议	目的端口是否可更改	端口说明
SDWAN控制组件	主集群服务器节点IP 主集群控制组件北向虚IP	任意	备集群控制组件北向虚IP	21500	TCP	否	控制组件数据同步使用
	备集群服务器节点IP 备集群控制组件北向虚IP	任意	备集群控制组件北向虚IP	21500	TCP	否	控制组件数据同步使用
统一数字底盘	主集群服务器节点IP 主集群控制组件北向虚IP	任意	备集群控制组件北向虚IP	11181	TCP	否	灾备心跳网络的端口
	备集群服务器节点IP 备集群控制组件北向虚IP	任意	主集群控制组件北向虚IP	11181	TCP	否	灾备心跳网络的端口
	主集群服务器节点IP 主集群控制组件北向虚IP	任意	备集群控制组件北向虚IP	4407、4408、4409、SSH端口	TCP	否	底盘pxc灾备数据同步端口
	备集群服务器节点IP 备集群控制组件北向虚IP	任意	主集群控制组件北向虚IP	4407、4408、4409、SSH端口	TCP	否	底盘pxc灾备数据同步端口
	主集群服务器节点IP 主集群控制组件北向虚IP	任意	备集群控制组件北向虚IP	20180	TCP	否	底盘pg灾备数据同步端口
	备集群服务器节点IP 备集群控制组件北向虚IP	任意	主集群控制组件北向虚IP	20180	TCP	否	底盘pg灾备数据同步端口
分析组件	主集群服务器节点IP 主集群控制组件北向虚IP	任意	备集群控制组件北向虚IP	5400/5500	TCP	否	分析器和采集pg灾备数据同步端口
	备集群服务器节点IP 备集群控制组件北向虚IP	任意	主集群控制组件北向虚IP	5400/5500	TCP	否	分析器和采集pg灾备数据同步端口

 

表10-3 仲裁服务器和服务器集群之间防火墙放通端口策略

组件	源IP	源端口	目的IP	目的端口	协议号	端口是否可更改	端口说明
统一数字底盘	主集群服务器节点IP 主集群控制组件北向虚IP	任意	仲裁服务器IP地址	11181	TCP	否	仲裁网络的端口

 

表10-4 服务器集群和License Server之间防火墙放通端口策略

组件	源IP	源端口	目的IP	目的端口	协议号	端口是否可更改	端口说明
License Server	主集群服务器节点IP 主集群控制组件北向虚IP	任意	License Server的IP（单机） License Server HA的IP（集群）	5555	SSL	是	异地灾备建议License单独部署 控制组件和License Server通信的端口，端口用户可以自定义

 

10.2  建立容灾关系

 

 

10.2.1  在独立服务器上部署仲裁服务（可选）

如需使用带仲裁的自动倒换模式，在独立服务器上部署仲裁服务，具体部署步骤请参见《H3C统一数字底盘部署指导》。

10.2.2  配置Websocket模板

进入[自动化>分支网络>参数配置>模板管理>WebSocket模板]页面，在 WebSocket连接控制组件地址中增加备站点的Matrix北向业务虚IP，单击<确定>按钮保存。后续添加站点时需选择该模板。如图10-2所示。

图10-2 增加备站点的Matrix北向业务虚IP

 

对于已上线设备需要批量下发该配置，进入[自动化>分支网络>维护保障>批量配置下发]页面，选择设备，输入以下命令，单击<发送>按钮下发，检查是否都下发成功，下发失败的设备需要手动在设备上补充。如图10-3所示。

cloud-management backup-server domain 192.168.30.145 port 19443  //备站点的Matrix北向业务虚IP

图10-3 批量下发Websocket备连接配置

 

10.2.3  配置License连接

使用系统默认的admin用户登录统一数字底盘，进入[系统>License管理>License连接]页面，配置License Server信息，如图10-4所示页面，单击<确认>按钮，连接License Server。

图10-4 配置License Server 信息

 

10.2.4  建立容灾关系

(1)     使用系统默认的admin用户登录统一数字底盘，进入[系统>应急管理>异地容灾]页面，配置容灾关系参数，如图10-5和图10-6所示页面。

图10-5 配置容灾关系参数（手动模式）

 

图10-6 配置容灾关系参数（带仲裁的自动倒换模式）

 

关键参数说明：

¡     主站点IP：主站点的Matrix北向业务虚IP。

¡     备站点IP：备站点的Matrix北向业务虚IP。

¡     备站点用户名和密码：备站点登录统一数字底盘的用户名和密码。

¡     倒换模式：

-     手动模式：灾备系统不会自动监测主站点和备站点上的组件状态，由用户控制和指定组件在站点上的主用或备用状态，可以通过接管和降备功能，切换组件在站点上主用或备用状态。使用手动模式时，需要在主备站点上各部署一套相同版本的统一数字底盘。

-     带仲裁的自动倒换模式：灾备系统会自动监测组件状态，若站点的组件发生故障，例如站点断电、网络故障等，灾备系统会通过仲裁站点上的仲裁服务，自动切换组件在不同站点上的状态。使用带仲裁的自动倒换模式需要在主备站点上各部署一套相同版本的统一数字底盘，注意选择该模式时需要在独立服务器上部署仲裁服务作为仲裁站点。

¡     仲裁站点IP：10.2.1  在独立服务器上部署仲裁服务（可选）步骤中的服务器IP。

¡     异地容灾系统虚IP配置：异地灾备系统提供用于业务对接的统一公共虚ip，使用该IP只会连接到当前灾备系统的主用站点。

¡     数据同步虚IP：该IP用于灾备系统主备站点的数据同步。

¡     心跳链路连接状态：建立灾备系统后，主站点向备站点实时发送心跳报文，建立心跳链路，实时监测主备站点之间的网络连接状态。

(2)     单击<连接>按钮，可创建灾备系统的站点配置。页面如图10-7所示。

图10-7 创建灾备系统

 

(3)     单击容灾关系配置区域的<增加>按钮，在弹出的对话框中完成容灾关系配置，逐一增加容灾关系。如图10-8所示。请勿在增加或删除容灾组件期间执行任何业务操作。

图10-8 增加容灾关系

 

10.3  管理容灾系统

 

10.3.1  更新容灾系统配置

进入主系统的[系统>应急管理>异地容灾]页面，修改站点配置参数，单击<更新配置>按钮，可以更新容灾系统，如图10-9所示。

图10-9 更新容灾关系

 

10.3.2  手动进行主备倒换

使用系统默认的admin用户登录统一数字底盘，进入[系统>应急管理>异地容灾]页面，在容灾关系配置菜单下，可以管理容灾关系、查看各组件的同步状态，如图10-10和图10-11所示。

图10-10 主站点容灾关系

 

图10-11 备站点容灾关系

 

倒换前请先单击<检查>按钮对组件进行检查，并根据检查结果进行相应处理。

在备站点的异地容灾页面，单击容灾关系配置操作栏中的接管按钮，将备系统切换为主系统。

在主站点的异地容灾页面，单击容灾关系配置操作栏中的降备按钮，将主系统切换为备系统。

当集群内某个控制组件的数据同步状态异常时，可在主用站点的该页面下单击对应控制组件操作区栏的同步按钮进行修复。修复过程中需要确保主备站点用于数据同步的灾备网络正常，否则可能导致修复失败。

10.4  拆除容灾关系

 

10.4.1  删除Websocket Server配置

(1)     进入[自动化>分支网络>参数配置>模板管理>Websocket模板]页面，确认将被裁撤站点的Matrix北向业务虚IP是主Server还是备Server。

图10-12 查看Matrix北向业务虚IP类型

 

如果将被裁撤站点的Matrix北向业务虚IP是主连接，则需要删除设备上的WebSocket主Server地址配置，命令如下。

undo cloud-management server domain

如果将被裁撤站点的Matrix北向业务虚IP是备连接，则需要删除设备上的WebSocket备Server地址配置，命令如下。

undo cloud-management backup-server domain 192.168.30.145 port 19443  //将被裁撤站点的Matrix北向业务虚IP

请根据实际组网情况，确认需要删除的Websocket Server配置。

(2)     对于已上线设备，进入[自动化>分支网络>业务保障>配置下发]页面，选择设备，根据实际组网和环境情况，参考步骤（1），输入待下发的命令，单击<发送>按钮下发。如图10-13所示。检查是否都下发成功，下发失败的设备和不在线的设备需要手动在设备上删除。

图10-13 批量下发Websocket备连接配置

 

10.4.2  备份数据

在主系统的[系统>备份恢复]页面，单击<开始备份>按钮，勾选对应组件，单击<备份>按钮，开始备份。如图10-14所示。

图10-14 备份数据

 

10.4.3  删除容灾关系

在主系统的[系统>应急管理>异地容灾]页面，先删除容灾关系，再删除容灾系统。

单击容灾关系配置操作列的<删除>按钮删除容灾关系。如图10-15所示。

图10-15 删除容灾关系

 

单击站点配置下发的<删除站点>按钮，删除容灾系统。如图10-16所示。

图10-16 删除站点