01-正文
本章节下载: 01-正文 (3.07 MB)
目 录
14.1.1 节点中存在多个网卡配置IP地址并且网卡UP时,如何增加安全策略?
14.2.2 扩容Matrix时若在ETCDINSTALL阶段停留时间过长怎么办?
14.2.7 如何在Matrix页面开启统一数字底盘组件应用服务?
14.4.1 拆除异地容灾或冷备系统之后,原备站点不会自动恢复WebSocket服务怎么办?
14.4.2 如何在worker节点上横向扩展WebSocket实例数量?
14.4.3 如何清除worker上扩展的WebSocket实例数量?
14.5.1 安装第三方操作系统时未选择虚拟化主机,该如何处理?
H3C U-Center 5.0提供企业级统一运维解决方案,涵盖“监、管、控、服、析”各业务领域,实现“云、网、端、安”ICT全域资源统一管理;支持对海量资源“直采直控”,同时支持对新华三运营、管理软件和第三方运维工具进行整合,为运维人员提供统一门户、统一告警、统一资源、统一流程、统一分析的全面运维解决方案。
本文的目的是提供精细化安装部署指导方法,帮助市场及一线人员或用户准确地部署U-Center 5.0运行环境。
U-Center 5.0支持1个节点的单机部署和3个Master节点+N个Worker节点(N≥0)的集群部署两种部署模式。
表2-1 U-Center 5.0部署流程汇总
|
步骤 |
具体操作 |
说明 |
|
服务器准备 |
· 单机部署模式准备1台服务器 · 集群部署模式准备至少3台服务器 |
硬件和软件需求 请参见“软硬件配置需求” |
|
安装操作系统及依赖包 |
在服务器上安装操作系统及依赖包 |
请参见“安装操作系统及依赖包” |
|
部署PolarDB数据库 (可选) |
在服务器上安装PolarDB数据库 |
请参见“部署PolarDB数据库(可选)” |
|
安装Matrix |
在服务器上安装Matrix |
请参见“安装Matrix” |
|
部署统一数字底盘 |
创建Matrix集群、部署Base包 |
请参见“部署统一数字底盘” |
|
部署U-Center 5.0 |
部署U-Center 5.0的各个组件 |
请参见“安装U-Center 5.0” |
硬件配置需求可通过以下方式获取:
· 在硬件资源计算工具中输入数据后获取评估结果,该评估结果用于参考。
· 联系一线工程师帮忙评估。
为了确保业务的正常运行,必须将服务器的CPU供电模式设置为高性能(performance)模式,并关闭RAID卡的PR(Patrol Read,巡读)和CC(Consistency Check,一致性校验)功能(如不支持PRCC,则无需关闭)。具体操作方式请参见服务器/RAID卡相关产品手册,或联系服务器/RAID卡的生产厂家技术支持人员。
· 集群中所有节点必须安装相同版本的操作系统。
· H3C自研操作系统下载路径:H3C官网首页>支持>软件下载>智能管理与运维>H3C PLAT (统一数字底盘)>H3C PLAT 2.0 (统一数字底盘)。
· Kylin-Server-V10-SP3-2403-Release-20240426可能存在操作系统卡死的问题,需通过重启临时规避或联系麒麟厂商协助解决,因此暂时不建议使用该操作系统。
表3-1 U-Center 5.0支持的操作系统及版本
|
版本 |
支持操作系统 |
|
x86 |
NingOS V3-1.0.2403 |
|
Red Hat Enterprise Linux 8.8 |
|
|
Red Hat Enterprise Linux 8.10 |
|
|
TencentOS-Server-3.1-20240925.0-TK4 |
|
|
uniontechos-server-20-1050a-amd64-UFU |
|
|
Kylin-Server-10-SP2-x86-RC01-Build09-20210524 |
|
|
Kylin-Server-V10-SP3-General-Release-2303 |
|
|
Kylin-Server-V10-SP3-2403-Release-20240426 |
|
|
ARM |
NingOS V3-1.0.2403 |
|
TencentOS-Server-3.1-20240925.0-TK4 |
|
|
Kylin-Server-10-SP2-aarch64-RC01-Build09-20210524 |
|
|
Kylin-Server-V10-SP3-General-Release-2303 |
用户不需要安装客户端软件,使用浏览器即可访问U-Center 5.0。推荐使用的浏览器为Google Chrome 96、Firefox 97及以上版本,分辨率显示宽度不低于1600。
安装包的名称格式如下表所示,其中version为版本号,platform为CPU架构类型。
说明列的“必选”意为:如需正常运行U-Center 5.0,必须安装的应用包;“可选”意为:可根据需求安装应用包,如不安装,将无该功能。
· 不同的组件、不同的版本可能仅发布x86或ARM安装包,具体请以版本发布文件为准。
· NSM、NSM-Extend E7303及之后版本的安装包名称不再包含platform。
上传应用安装包之后,请参见如下命令对软件包执行MD5验证,确保软件包的完整性和正确性。
(1) 查看已上传的安装包。
[root@node1 ~]# cd /opt/matrix/app/install/packages/
[root@node1 packages]# ls
BMP_Common_E7301_x86.zip BMP_Connect_E7301_x86.zip
…略…
(2) 查看安装包的MD5值,以UDTP_Base_E7301_x86.zip为例。
[root@node1 packages]# md5sum UDTP_Base_E7301_x86.zip
652845e0b92bbdff675c7598430687e2 UDTP_Base_E7301_x86.zip
(3) 将上述步骤中获取到的MD5值与发布的软件版本文件MD5值进行比对,若一致,则软件包正确。
请按照硬件资源计算工具计算结果中的“单台Master节点本地存储空间”数据配置磁盘分区。
seasqlplus-uc分区说明:
· 数据盘seasqlplus-uc主要用于保存历史监控性能数据。
· 硬件资源计算工具自动计算是否需要配置seasqlplus-uc:
¡ 当等效网元数量小于2000时(等效网元数量=网管管理网元数+IOM管理资源数+NTA接口数量*10),不需要配置seasqlplus-uc独立分区。
¡ 当等效网元数量大于2000时,需要配置seasqlplus-uc分区并挂载独立磁盘。原因是:当业务量较大时,seasqlplus-uc可能会导致较高的磁盘IO,如果与其他业务共用一块磁盘,可能会影响其他业务的正常运行。
· seasqlplus-uc挂载独立磁盘后的剩余空间不能分配给其他分区使用。
· seasqlplus-uc挂载独立磁盘的方法见如何为seasqlplus-uc挂载独立磁盘?
U-Center 5.0在Matrix集群部署模式下,至少需要3个Master节点+N个Worker节点(N≥0,N根据任务负载情况决定),典型组网规划如下所示:
图3-1 组网规划
若具体业务场景需要多张网卡,有如下注意事项:1、部署集群前的检查,集群使用的网卡需要是ifconfig命令检测到的第一块网卡。2、如果不满足上述条件,则需要保证集群使用的是之前配置的网卡,并满足以下条件之一:
· 条件1:网卡down状态且onboot=no。
· 条件2:网卡UP状态,已配置IP,且需要配置安全策略。
当集群的南北向网络使用不同网卡但处于同一VLAN网段时,应在南向网卡配置中设置NOZEROCONF=yes。
U-Center 5.0支持IPv4部署,IP地址规划如下表所示。
|
IP地址规划 |
作用 |
备注 |
|
Master节点1 IP |
为安装了操作系统的Master节点分配的IP地址 |
必选项(单机部署模式只需要一个Master节点) 加入同一集群的所有Master节点的IP地址必须处于同一网段 |
|
Master节点2 IP |
为安装了操作系统的Master节点分配的IP地址 |
|
|
Master节点3 IP |
为安装了操作系统的Master节点分配的IP地址 |
|
|
北向业务虚IP |
通过Matrix页面部署的应用的统一外部访问地址 |
必选项 北向业务虚IP必须在Master节点所处的网段内 |
|
Worker节点IP |
为Worker节点分配的IP地址 |
可选项 Worker节点的IP地址必须与加入同一集群内的Master节点的IP处于同一网段 |
安装环境请参考下表中所示的各个检测项目,确保安装U-Center 5.0的条件已经具备。
|
检测项 |
检测标准 |
|
|
服务器或虚拟机 |
硬件检查 |
请检查硬件是否符合要求(包括CPU、内存、硬盘、网卡等) |
|
软件检查 |
请检查如下几点: · 操作系统版本符合要求 · 请检查系统时间已配置完成,建议配置NTP时间同步,整网使用统一的时钟源同步时间,且保证NTP服务器时间与当前时间一致 · 请确保服务器已配置磁盘阵列 |
|
|
客户端 |
请确保浏览器版本符合要求 |
|
|
服务器和操作系统兼容性 |
请参见以下链接,查看H3C服务器和操作系统的兼容性列表: http://www.h3c.com/cn/home/qr/default.htm?id=367 |
|
· 推荐将服务器或虚拟机的下一次启动模式配置为UEFI模式。其中VMware的引导固件,请选择下拉框中的EFI,不要勾选“是否为此虚拟机启用UEFI安全引导”选项。若安装的VMware是英文版本,请不要勾选“Secure Boot”选项。
· 安装操作系统时,请勿同时使用KVM给多个服务器安装同一镜像。
· H5 KVM性能不稳定,可能出现加载镜像停止或缓慢等问题,建议使用Java KVM挂载镜像安装操作系统。
· 安装过程中禁止输入Scroll Lock键,否则可能会导致安装失败。
· 安装过程中异常断电会导致部分服务安装失败,请重新安装以保证功能完整性。
· U-Center 5.0安装部署过程中,请勿进行开启或关闭防火墙的操作。
具体请参考《H3C 统一数字底盘操作系统安装指导》。
如需使用PolarDB数据库,请参见《第三方数据库PolarDB v2.0安装部署指导》进行安装。
在安装PolarDB时,请在所有统一数字底盘节点和PolarDB节点上执行polardb_add_sshpass.sh脚本。具体步骤请参考《第三方数据库PolarDB v2.0安装部署指导》的安装部署章节。无论是重新安装统一数字底盘还是PolarDB,都需重新执行此步骤。此外,若扩容统一数字底盘,需要在扩容前执行此步骤。
(1) PolarDB数据库安装后,请以root用户登录PolarDB数据库集群任一节点,依次执行cd /root/polardb命令和pdbcli status --config config.yaml命令获取PolarDB代理节点的IP地址,执行结果中,“proxy”下的IP地址即为数据库代理所在节点IP地址。
(2) 然后,依次在所有代理节点上执行cat /opt/maxscale/polardb1/etc/maxscale.cnf |grep users_refresh_time命令查看“users_refresh_time”的参数值。若不为0,则请依次执行sed -i "s/users_refresh_time=5/users_refresh_time=0/" /opt/maxscale/polardb1/etc/maxscale.cnf 命令和systemctl restart polardb-proxy-polardb1.service命令以修改代理节点参数。
(1) 获取软件安装包,并将软件包拷贝至服务器的待安装目录下,或使用FTP等文件传输协议将软件包上传到指定目录。
¡ (推荐)root用户在/root目录下,或在/root下创建目录。
¡ (推荐)非root用户(如admin)在/home/admin下。
· 如果需要使用FTP、TFTP协议上传下载,请选择binary模式(二进制模式)传输,以免损坏软件包。
· 如需安装Matrix的E7105H04及以上版本,或E7302及以上版本,若Docker版本为20.10.24,可直接安装;若Docker版本低于20.10.24,请先安装任意低于E7105H04或E7302的Matrix版本,然后将Docker升级至20.10.24,最后再将Matrix升级到E7105H04或E7302及以上版本。
(2) 上传完成后,请参考验证软件包对Matrix的安装包进行MD5校验。
若使用root用户安装软件包,或者使用admin用户安装NingOS操作系统,可直接跳过该章节。
(1) 执行su root命令切换为root用户后,在root用户下确认/etc/passwd配置文件。已配置的非root用户名称是否与配置文件中的名称一致,此处以user为例,如下图所示。如果不一致请修改配置文件中的用户名,其他参数无需修改,保持默认设置即可。
[root@node1 ~]# vim /etc/passwd
…
user:x:1000:1001:user:/home/user:/bin/bash
…
(2) 在root用户下修改/etc/sudoers配置文件。
[root@node1 ~]# vim /etc/sudoers
…略…
## Allow root to run any commands anywhere
root ALL=(ALL) ALL
user ALL=(root) NOPASSWD:/bin/bash
## Allows members of the 'sys' group to run networking, software,
## service management apps and more.
# %sys ALL = NETWORKING, SOFTWARE, SERVICES, STORAGE, DELEGATING, PROCESSES, LOCATE, DRIVERS
## Allows people in group wheel to run all commands
%wheel ALL=(ALL) ALL
user ALL=(root) NOPASSWD:/bin/bash
user ALL=(root) NOPASSWD:/usr/bin/rpm,/bin/sh
…略…
(3) 在root用户下修改/etc/pam.d/login配置文件。
[root@node1 ~]# vim /etc/pam.d/login
#%PAM-1.0
auth substack system-auth
auth [user_unknown=ignore success=ok ignore=ignore auth_err=die default=bad] pam_securetty.so
…略…
(4) 在root用户下修改/etc/ssh/sshd_config配置文件。
若当前环境为统一数字底盘与PolarDB数据库的融合部署,请勿执行此步骤。
[root@node1 ~]# vim /etc/ssh/sshd_config
…略…
#LoginGraceTime 2m
PermitRootLogin no
…略…
(5) 修改完成后,执行systemctl restart sshd命令重启sshd服务。
· 所有节点的安装用户需保持一致,若选择非root作为安装用户,需要在脚本执行命令前添加sudo /bin/bash指令。
· 安装Matrix的用户需与所属用户组名称保持一致。
(1) 进入Matrix软件包(.zip文件)的存放路径,安装Matrix。软件包的名称格式为UDTP_Matrix_version_platform.zip,其中version为版本号,platform为CPU架构类型。下面以root用户、x86_64版本为例进行安装。
[root@node1 ~]# unzip UDTP_Matrix_E7301_x86_64.zip
[root@node1 ~]# cd UDTP_Matrix_E7301_x86_64
[root@node1 UDTP_Matrix_E7301_x86_64]# ./install.sh
…略…
Complete!
(2) 通过命令systemctl status matrix验证Matrix服务是否安装成功。若安装成功,则将在Active字段后显示运行信息为active (running)。剩余节点执行同样操作即可。
(3) 默认为中文界面,若需英文界面,则可通过如下方式修改:
a. 使用vim /opt/matrix/config/navigator_config.json命令进入navigator_config文件,修改defaultLanguage字段值为en(若文件中没有该配置,请直接增加该字段,字段后需要携带英文逗号),配置如下:
[root@node4 ~]# vim /opt/matrix/config/navigator_config.json
{
"defaultLanguage":"en",
"productName": "uc",
"pageList": ["SYS_CONFIG", "DEPLOY", "APP_DEPLOY"],
"defaultPackages": [],
"allowDeployedPackageIds": ["UNIFIED-PLATFORM-BASE"],
"url": "http:””://${vip}:30000/central/index.html#/ucenter-deploy",
"theme":"darkblue",
"matrixLeaderLeaseDuration": 30,
"matrixLeaderRetryPeriod": 2,
"sshPort": 22,
"sshLoginMode": "secret",
"features":{"stopNtpServerBeyondThreshold":"false"}
}
b. 执行systemctl restart matrix命令重启Matrix服务使生效配置,其他节点也依次按a、b步骤配置。
Matrix集群通过SSH连接进行节点的安装、升级、修复等操作,并实现应用部署、监控等功能。各节点上的SSH服务器默认使用22号端口侦听客户端连接请求,双方建立TCP连接后可进行数据信息的交互。
用户可根据本章节修改SSH服务端口号,提高SSH连接的安全性。
· 请确保所有节点都配置为相同的SSH服务端口号。
· 端口范围为1~65535,不推荐使用1~1024之间的知名端口号,禁止使用各方案端口矩阵中已定义的端口号,否则SSH服务可能启动失败。
· 若需要通过ISO方式升级Matrix,请在升级前确保集群中所有节点的navigator_config文件内容一致。可使用vim /opt/matrix/config/navigator_config.json命令进入navigator_config文件,查看该文件中的详细信息。
· 若修改已部署集群中的SSH服务端口号,请确认所有业务组件是否支持。
· 若为非root用户,执行如下命令前,请进行提权操作(在非root用户下执行su root命令即可)。
· 集群各节点/opt/matrix/config/navigator_config.json中的配置必须保持一致,否则会影响集群稳定性。
· 若需修改SSH服务端口号,请参见各产品版本使用指导书中的产品端口占用说明,以避免端口冲突。
· 在PolarDB或Matrix集群部署完成后,禁止修改SSH端口。
(1) 若集群未部署,登录节点后台,使用netstat -anp | grep after_port-number检查指定的端口号是否被占用,若未被占用,则无返回信息;若被占用,则返回如下信息。其中,after_port-number为用户想要指定的SSH服务新的端口号。举例如下:
¡ 12345端口号未被占用,可以修改为该端口号。
[root@node1 ~]# netstat -anp | grep 12345
¡ 1234端口号被占用,不可以修改为该端口号。
[root@node1 ~]# netstat -anp | grep 1234
tcp 0 0 0.0.0.0:1234 0.0.0.0:* LISTEN 26211/sshd
tcp6 0 0 :::1234 :::* LISTEN 26211/sshd
若集群已部署,除上述的检查外,还需要执行以下命令确认环境中是否有业务容器占用该端口(如果还有其他形式的端口占用,请根据实际情况检查)。具体如下:
¡ 12345端口号未被占用,可以修改为该端口号。
[root@node1 ~]# kubectl get svc -A -oyaml | grep nodePort | grep -w 12345
[root@node1 ~]# kubectl get pod -A -oyaml | grep hostPort | grep -w 12345
¡ 1234端口号被nodePort或hostPort占用,不可以修改为该端口号。
[root@node1 ~]# kubectl get svc -A -oyaml | grep nodePort | grep -w 1234
nodePort: 1234
[root@worker ~]# kubectl get pod -A -oyaml | grep hostPort | grep -w 1234
hostPort: 1234
(2) 使用vim /etc/ssh/sshd_config命令进入sshd服务的配置文件,将配置文件中端口号修改为用户想要指定的端口号(以12345为例),且需要删除注释符号。
图6-1 修改前的端口号为22
图6-2 修改后的端口号
(3) 修改完成后,需重启sshd服务。
[root@node1 ~]# systemctl restart sshd
(4) 查看新的端口号是否修改成功。以Master节点为例,若有如下返回信息,则表示修改成功。
[root@node1 ~]# netstat -anp | grep -w 12345
tcp 0 0 0.0.0.0:12345 0.0.0.0:* LISTEN 26212/sshd
tcp6 0 0 :::12345 :::* LISTEN 26212/sshd
(1) 使用vim /opt/matrix/config/navigator_config.json命令进入navigator_config文件,查看该文件中是否存在sshPort字段,若存在,将该字段取值修改为用户想要指定的端口号(以12345为例);若不存在,则需手动添加该字段并为其赋值。下面以x86版本为例进行说明。
{
"productName": "uc",
"pageList": ["SYS_CONFIG", "DEPLOY", "APP_DEPLOY"],
…略…
"matrixLeaderLeaseDuration": 30,
"matrixLeaderRetryPeriod": 2,
"sshPort": 12345
}
(2) 修改完成后,需重启Matrix服务。
[root@node1 ~]# systemctl restart matrix
(3) 查看新的端口号是否修改成功。以Master节点为例,若成功,则日志中最后一条信息如下。
[root@node1 ~]# cat /var/log/matrix-diag/Matrix/Matrix/matrix.log | grep "ssh port"
2022-03-24T03:46:22,695 | INFO | FelixStartLevel | CommonUtil.start:232 | ssh port = 12345.
集群主用Master节点通过SSH连接管理和监控集群中的所有节点,当通过命令行修改某一节点密码后,还需登录Matrix页面修改对应节点的密码,若其它场景也保存了节点密码,则需同步修改(如跳板机、部署在Matrix上的应用),否则将会导致集群异常。整个过程易遗漏、易出错,且需较高的时间和人力成本。
各节点上配置SSH密钥登录后,无需在多处修改节点密码,集群节点间也可进行互相操作。
当前支持root用户和非root用户进行SSH密钥配置。
· 请确保所有节点的SSH登录方式一致(如Matrix服务启动后,修改了某一节点的SSH登录方式,该操作需同步至所有节点。修改完成后请依次重启各节点Matrix服务)。
· Matrix(包括集群和单机模式)部署完成后,若因重建/升级等原因重装节点操作系统时,在操作系统安装完成后、重建/升级操作前,请确保已完成所有节点的SSH密钥登录配置,且所有节点SSH登录方式必须一致(都为密钥登录),否则将会导致操作失败。
依次登录各节点后台进行SSH密钥配置。下面以node1节点为例,进行配置说明。
执行ssh-keygen -R命令时如果出现文件或目录不存在的报错,属正常现象,可忽略。
(1) root用户登录node1节点后台,执行如下命令,通过ED25519加密算法生成SSH对称认证所需的公钥和私钥文件。保存该公/私钥的文件名默认为/root/.ssh/id_ed25519,文件名不允许修改。
[root@node1 ~]# ssh-keygen -t ed25519
Generating public/private ed25519 key pair.
Enter file in which to save the key (/root/.ssh/id_ed25519):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_ed25519
Your public key has been saved in /root/.ssh/id_ed25519.pub
The key fingerprint is:
SHA256:GLeq7ZQlnKHRTWvefTwIAlAHyeB3ZfZt0Ovnfbkcbak root@node1
The key's randomart image is:
…略…
(2) 首先清理各节点的旧公钥信息。然后将生成的公钥拷贝至各个节点(包括当前登录的节点)。下面以集群中有三个Master节点并且SSH端口号为默认的22为例进行配置说明。其中,node1 IP地址为192.168.227.171;node2 IP地址为192.168.227.172;node3 IP地址为192.168.227.173。
[root@node1 ~]# ssh-keygen -R 192.168.227.171
[root@node1 ~]# ssh-keygen -R 192.168.227.172
[root@node1 ~]# ssh-keygen -R 192.168.227.173
[root@node1 ~]# ssh-copy-id -p 22 -i ~/.ssh/id_ed25519.pub [email protected]
[root@node1 ~]# ssh-copy-id -p 22 -i ~/.ssh/id_ed25519.pub [email protected]
[root@node1 ~]# ssh-copy-id -p 22 -i ~/.ssh/id_ed25519.pub [email protected]
(3) 登录其它节点后台,执行步骤(1)和(2)命令。
(4) root用户登录node1节点后台,SSH到当前节点及其它节点,验证SSH密钥配置是否生效。下面以SSH到node2并且SSH端口号为默认的22为例进行配置说明。
[root@node1 ~]# ssh -p 22 [email protected]
依次登录各节点后台进行SSH密钥配置。
由于非root用户下部分命令需要以root权限执行,所以非root用户需配置admin到admin用户密钥配置、root到admin用户密钥配置。
执行ssh-keygen -R命令时如果出现文件或目录不存在的报错,属正常现象,可忽略。
(1) 配置admin到admin用户密钥配置
下面以3个Master节点都为admin用户为例,进行配置说明。
a. admin用户登录node1节点后台,执行ssh-keygen -t ed25519命令,生成SSH对称认证所需的公钥和私钥文件。保存该公/私钥的文件名默认为/home/admin/.ssh/id_ed25519,文件名不允许修改。
b. 首先清理各节点的旧公钥信息。然后将生成的公钥拷贝至各个节点(包括当前登录的节点)。下面以集群中有三个Master节点并且SSH端口号为默认的22为例进行配置说明。其中,node1 IP地址为192.168.227.171;node2 IP地址为192.168.227.172;node3 IP地址为192.168.227.173。
[admin@node1 ~]$ ssh-keygen -R 192.168.227.171
[admin@node1 ~]$ ssh-keygen -R 192.168.227.172
[admin@node1 ~]$ ssh-keygen -R 192.168.227.173
[admin@node1 ~]$ ssh-copy-id -p 22 -i ~/.ssh/id_ed25519.pub [email protected]
[admin@node1 ~]$ ssh-copy-id -p 22 -i ~/.ssh/id_ed25519.pub [email protected]
[admin@node1 ~]$ ssh-copy-id -p 22 -i ~/.ssh/id_ed25519.pub [email protected]
c. 登录其它节点后台,执行步骤(a)和(b)命令。
d. admin用户登录节点后台,SSH到当前节点及其它节点,验证SSH密钥配置是否生效。
[admin@node1 ~]$ ssh -p 22 [email protected]
(2) 配置root到admin用户密钥配置
a. admin用户登录node1节点后台,并将用户切换至root用户下。
b. 请依次执行以下操作:生成新的公钥和私钥文件,清理旧的公钥信息,并将新公钥拷贝到所有节点(包括当前登录的节点)。
c. 登录其它节点后台,执行步骤(a)和(b)命令。
d. admin用户登录节点后台,并将用户切换至root用户下。SSH到当前节点及其它节点的admin用户,验证SSH密钥配置是否生效。
[root@node1 ~]# ssh -p 22 [email protected]
(1) 使用vim /opt/matrix/config/navigator_config.json命令进入navigator_config文件,查看该文件中是否存在sshLoginMode字段,若存在,将该字段取值修改为secret;若不存在,则需手动添加该字段并为其赋值。下面以x86版本为例进行说明。
{
"productName": "uc",
"pageList": ["SYS_CONFIG", "DEPLOY", "APP_DEPLOY"],
…略
"matrixLeaderLeaseDuration": 30,
"matrixLeaderRetryPeriod": 2,
"sshPort": 22,
"sshLoginMode":"secret"
}
(2) 重启Matrix服务,使SSH登录方式修改生效。
[root@node1 ~]# systemctl restart matrix
(3) 查看修改的SSH登录方式是否生效。
[root@node1 ~]# cat /var/log/matrix-diag/Matrix/Matrix/matrix.log | grep "sshLoginMode"
2022-03-31T20:11:08,119 | INFO | features-3-thread-1 | CommonUtil.start:245 | ssh port = 22, sshLoginMode = secret.
· 对于使用内置NTP服务器的场景,在部署集群之前,需确保所有节点的系统时间和当前时间保持一致。对于使用外置NTP服务器作为时钟同步源的场景,需确保外置NTP服务器的时间与当前时间保持一致。如果NTP服务器网络不通、出现故障或时间不准确时,可能导致Matrix集群部署失败。
· 查看及修改节点系统时间的命令如下:date(查看系统时间);date -s yyyy-mm-dd(修改系统时间的年月日);date -s hh:mm:ss(修改系统时间的时分秒)。
· 在应用部署、升级过程中,不能执行重启Matrix服务、重启节点和断开节点服务器电源操作,否则会造成应用部署数据出现损坏(例如Etcd数据错误、磁盘文件损坏等),造成应用部署、升级失败。
(1) 依次登录各节点后台,执行sudo bash /opt/matrix/tools/env_check.sh命令进行环境检查,并根据检查结果进行相应处理。
· 统一数字底盘支持的所有操作系统都可执行env_check.sh脚本。
· 在CPU频率低于2000MHz的情况下,Matrix的自检脚本(env_check.sh)和健康检查模块会打印CPU频率告警。请检查服务器硬件是否满足要求,并确保CPU供电模式设置为高性能(performance)模式(例如NingOS系统可执行cpupower frequency-set -g performance命令)。
· 可在节点后台执行sudo bash /opt/matrix/tools/env_check.sh -h命令查看帮助,获取更多脚本使用方式。例如:查询Etcd磁盘IOPS性能的命令为sudo bash /opt/matrix/tools/env_check.sh -p -d /var/lib/etcd。
· 集群部署完成后,docker、chrony等服务会自动启动,无需关注其检查结果。
下表中所示的各项未在env_check.sh脚本中进行检查,请手动确认,确保安装Matrix的条件已经具备。
|
检测项 |
检测标准 |
|
网口 |
Matrix单独使用一个网口,不允许在此网口上配置子接口及子IP。 |
|
IP地址 |
· Matrix节点其它网口上的IP地址不允许和本节点Matrix使用的IP地址相同网段。 · 节点与Matrix集群其它节点通信使用的IP源地址,必须为建立Matrix集群使用的IP地址。可以使用命令ip route get targetIP获取主机访问目标IP时使用的源地址,其中targetIP为目标IP。 [root@node1 ~]# ip route get 100.100.5.10 100.100.5.10 via 192.168.10.10 dev eth0 src 192.168.5.10 |
|
时区 |
· 请确保Matrix所有节点的系统时区必须相同(可使用命令timedatectl查看各节点的系统时区),否则将会导致在GUI页面上增加节点失败。 · 选择时区时,不允许选择“北京”。 |
|
主机名 |
请确保主机名符合如下标准,否则集群将会建立失败。 · 各节点的主机名不能相同。 · 请勿使用默认主机名(localhost、localhost.localdomain、localhost4、localhost4.localdomain4、localhost6、localhost6.localdomain6)。 · 主机名称最长63个字符,仅支持小写字母、数字、连字符和小数点,不能以0开头且全为数字,不能以0x、连字符、小数点开头,不能以连字符、小数点结尾。 |
(2) 在部署统一数字底盘UDTP_Base_version_platform.zip组件前,请在各节点执行cat /proc/sys/vm/nr_hugepages命令检查大页是否开启,如果返回结果不是0,请记录该值,并执行echo 0 > /proc/sys/vm/nr_hugepages命令临时关闭大页。待部署UDTP_Base_version_platform.zip组件完成后,再将echo 0 > /proc/sys/vm/nr_hugepages命令中的数字0改为记录的值,并在各节点执行,以恢复大页配置。
· 可在Matrix上进行如下操作:上传、删除统一数字底盘应用安装包;部署、升级、扩容、卸载统一数字底盘应用;升级、重建集群节点;增加、删除Worker节点。
· 部署集群节点时,要求主机名称不得重复,当集群部署成功后,不允许修改集群节点的主机名。
· 集群部署过程中不支持登录集群各节点进行任何操作,也不支持在其他集群中添加当前集群部署中的节点。
(1) 在浏览器中输入Matrix的登录地址,进入如下图所示登录页面。
a. 若使用IPv4地址,登录地址格式为:https://ip_address:8443/matrix/ui。本文档后续配置均以IPv4配置为例。
b. 若使用IPv6地址,登录地址格式为:https://[ip_address]:8443/matrix/ui。
登录地址中参数含义如下:
ip_address为节点IP地址。
8443为缺省端口号。
采用集群部署模式时,未部署集群之前,ip_address可以是任意一个规划为Master节点的IP地址。
图7-1 Matrix登录页面
(2) 输入用户名和密码(默认用户名为admin,密码为Pwd@12345,若安装操作系统设置过密码,则按设置的填写)后,单击<登录>按钮,默认进入Matrix的集群部署页面,部署双栈集群需要开启双栈按钮。
图7-2 集群单栈部署页面
部署集群节点前,需要先配置集群参数。配置集群参数,各参数的介绍如下两表所示。
|
参数 |
说明 |
|
北向业务虚IP |
集群对外提供服务的IP地址,该地址必须在Master节点所处的网段内。 |
|
Service IP地址池 |
用于为Service分配IP地址,不能与部署环境中的其它网段冲突。默认地址为10.96.0.0/16,一般保持缺省值。 |
|
容器IP地址池 |
用于为容器分配IP地址,不能与部署环境中的其它网段冲突。默认地址为177.177.0.0/16,一般保持缺省值。 |
|
虚IP模式 |
取值为内置虚IP、外置虚IP。内置模式下虚IP由Matrix下发到集群内,并由Matrix管理虚IP在集群节点间的漂移;外置模式下,虚IP由第三方平台或软件下发到集群外,不再由Matrix管理。默认为内置模式。 说明:E0713版本开始,新增该字段。 |
|
集群网络模式 |
· 单子网:集群内所有节点、虚IP必须在相同网段内,否则将无法互相通信。 · 单子网-VXLAN:集群内所有节点、虚IP必须在相同网段内,否则将无法互相通信。单子网-VXLAN模式仅支持IPv4网络。 ¡ 如果在集群上联交换机上配置安全策略如ACL,不允许以Service IP地址池和容器IP地址池中的地址为源的报文转发,需要使用单子网VXLAN。 ¡ 在公有云和私有云场景下,因为云上的网络限制,需要使用单子网VXLAN网络。 |
|
NTP服务器 |
· 用于保证集群内各节点系统时间的一致性,支持选择内置服务器和外置服务器。选择外置服务器时,需要配置NTP服务器地址,且该地址不可与集群内各节点的IP地址冲突。 · 本文档使用内置服务器作为NTP服务器,则部署集群时会首先进行时间同步,集群部署完成后,三台Master节点会定时同步时间,从而保证集群内各节点的系统时间保持一致。 · 如需部署上下级环境,必须为上级和下级配置相同的NTP服务器,以确保上下级的时间一致。 |
|
外置DNS服务器 |
用于解析K8s集群外部的域名,格式为IP:Port,部署统一数字底盘可根据实际需要配置外置DNS服务器。本文档中不配置此项。 · 容器解析域名时,集群外部的域名无法被内置DNS服务器解析,本平台将把需要解析的外部域名随机转发给一台外置DNS服务器来解析。 · 外置DNS服务器最多可以配置10个,各外置DNS服务器要求具有相同的DNS解析能力,并可以独立满足外部域名解析需求、无主备之分、无先后顺序之分。 · 建议所有的DNS服务器都能够访问根域,可使用命令行nslookup -port={port} -q=ns . {ip}查看是否可以访问。 |
|
自定义虚IP |
通常用于隔离集群网络与管理网络。不能与部署环境中的其它网段冲突。 |
表7-3 双栈集群参数说明
|
参数 |
说明 |
|
北向业务虚IP(IPv4、IPv6) |
集群对外提供服务的IP地址,该地址必须在Master节点所处的网段内,分别分配IPv4地址,IPv6地址。北向业务虚IP至少配置一个IPv4或IPv6,不可同时配置两个相同协议的IP。配置IPv6地址时,请勿以冒号结尾。 |
|
Service IP地址池 |
双栈环境下生效。 用于为Service分配IPv4、IPv6地址,默认IPv4地址为10.96.0.0/16,默认IPv6地址为fd00:10:96::/112,一般保持缺省值。集群部署后不允许更改。 该地址池不能与部署环境中其它网段冲突,否则可能会导致集群异常。 |
|
容器IP地址池 |
双栈环境下生效。 用于为容器分配IPv4、IPv6地址,默认IPv4地址为177.177.0.0/16,默认IPv6地址为fd00:177:177::/112,一般保持缺省值。集群部署后不允许更改。 该地址池不能与部署环境中其它网段冲突,否则可能会导致集群异常。 |
|
虚IP模式 |
取值为内置虚IP、外置虚IP。内置模式下虚IP由Matrix下发到集群内,并由Matrix管理虚IP在集群节点间的漂移;外置模式下,虚IP由第三方平台或软件下发到集群外,不再由Matrix管理。默认为内置模式。 说明:E0713版本开始,新增该字段。 |
|
集群网络模式 |
双栈模式下仅支持单子网模式。 · 单子网:集群内所有节点、虚IP必须在相同网段内,否则将无法互相通信。 |
|
NTP服务器 |
· 用于保证集群内各节点系统时间的一致性,支持选择内置服务器和外置服务器。选择外置服务器时,需要配置NTP服务器地址,且该地址不可与集群内各节点的IP地址冲突。 · 本文档使用内置服务器作为NTP服务器,部署集群时会首先进行时间同步,集群部署完成后,三台Master节点会定时同步时间,从而保证集群内各节点的系统时间保持一致。 · 如需部署上下级环境,必须为上级和下级配置相同的NTP服务器,以确保上下级的时间一致。 |
|
外置DNS服务器 |
用于解析K8s集群外部的域名,格式为IP:Port,部署统一数字底盘可根据实际需要配置外置DNS服务器。本文档中不配置此项。 · 容器解析域名时,集群外部的域名无法被内置DNS服务器解析,本平台将把需要解析的外部域名随机转发给一台外置DNS服务器来解析。 · 外置DNS服务器最多可以配置10个,各外置DNS服务器要求具有相同的DNS解析能力,并可以独立满足外部域名解析需求、无主备之分、无先后顺序之分。 · 建议所有的DNS服务器都能够访问根域,可使用命令行nslookup -port={port} -q=ns . {ip}查看是否可以访问。 |
|
自定义虚IP |
通常用于隔离集群网络与管理网络。不能与部署环境中的其它网段冲突。 |
若NTP服务器不与北向地址相通,可以先不增加NTP服务器。待集群创建完成后,在配置网卡网络时,通过修改集群参数再增加。
单机部署模式下,仅需增加一个Master节点即可部署集群。集群部署模式下,需要增加三个Master节点后,再部署集群。
(1) 配置集群参数后,单击<下一步>按钮,进入创建集群页面,如下图所示。
(2) 单击Master节点区域的增加图标
,弹出增加节点窗口,如下图所示。
图7-6 增加双栈节点窗口
(3) 配置如下参数:
¡ 类型:显示为“Master”,且不可修改。
¡ IP地址:规划的Master节点的IP地址。支持批量添加Master节点,批量添加模式下,各Master节点的用户名和密码需相同。
¡ 用户名:节点操作系统的用户名。根据安装操作系统时实际选择的用户填写。集群中所有节点的用户名必须相同。
¡ 密码:节点操作系统的用户密码。
(4) 单击<确定>按钮,完成增加Master节点操作。
(5) 单击<开始部署>按钮,开始部署集群,当所有节点的进度达到100%时,表示集群部署成功。
集群部署成功后,主Master节点会在节点左上角显示标记
,其余未被标记的Master节点为备用Master节点。
(6) 集群部署完成后,配置网络和部署应用的操作可以先跳过,后期根据实际需要再进行配置。
图7-7 集群部署完成
Matrix部署完成后,如需执行kubectl命令,请断开重连当前SSH会话后再执行对应命令,否则kubectl命令无法执行,提示The connection to the server localhost:8080 was refused - did you specify the right host or port?
上传安装包时,需保证浏览器到集群之间的网络连接稳定,且连接带宽不能低于10Mbps,否则会导致安装包上传耗时长或上传失败。
应用包仅支持在Matrix页面进行部署,支持批量上传应用包,但必须先部署Base,再部署其他应用。
(1) 在浏览器中输入“https://ip_address:8443/matrix/ui”,登录Matrix。其中“ip_address”为北向业务虚IP地址。
(2) 单击[部署>应用]菜单项,进入应用列表页面。
(3) 部署模式选择“标准”。
图7-8 选择部署模式
(4) 单击<部署应用>按钮,进入安装Base界面。
图7-9 安装Base页面
(5) 单击<上传>按钮,在弹框中上传Base安装包。
图7-10 上传Base安装包
(6) Base上传完成后,在当前页面勾选Base应用安装包,并单击页面底部的<下一步>按钮。
请不要勾选其他应用包,否则无法安装Base。
(7) 在当前页面无需任何操作,直接单击页面底部的<下一步>按钮。
(8) 单击<修改>按钮,配置Base参数,配置完成后单击<确定>按钮保存配置。
当使用PolarDB数据库时,需要额外配置相关的数据库参数,具体请参见《第三方数据库PolarDB v2.0安装部署指导》。
表7-4 Base参数配置说明
|
配置项 |
配置项参数说明 |
|
资源档位 |
单机模式支持选择single_large、single_medium、single_small三种档位。 集群模式支持选择cluster_large、cluster_medium、cluster_small三种档位 |
|
部署协议 |
可选择http和https。 |
|
HTTP协议端口号 |
缺省值30000。 |
|
HTTPS协议端口号 |
缺省值30443。 |
|
CPU厂商信息 |
根据实际情况选择对应的CPU厂商。 |
|
是否使用第三方数据库 |
可选择true、false。 |
|
主题 |
可选择white、star。 |
|
语言 |
可选择zh_CN、en_US。 |
(9) 参数配置完成后,单击<部署>按钮,开始部署Base。
(10) Base部署完成后,原[部署>应用]页面自动更新为[部署>融合部署]页面,可在该页面下部署其他可选包。
上传安装包时,需保证浏览器到集群之间的网络连接稳定,且连接带宽不能低于10Mbps,否则会导致安装包上传耗时长或上传失败。
应用包仅支持在Matrix页面部署,且必须优先部署Base组件;支持批量上传应用包,可选组件可与Base同时部署或在Base部署完成后单独部署,但若待部署组件存在依赖组件,则需连同依赖组件一并部署或确保依赖组件已提前部署完成。
(1) 在浏览器中输入“https://ip_address:8443/matrix/ui”,登录Matrix。其中“ip_address”为北向业务虚IP地址。
(2) 单击[部署>应用]菜单项,进入应用列表页面。
(3) 部署模式选择“代理”。
图7-14 选择部署模式
(4) 单击<部署应用>按钮,进入安装Base界面。
图7-15 安装Base页面
(5) 单击<上传>按钮,在弹框中上传Base安装包。
图7-16 上传Base安装包
(6) Base上传完成后,在当前页面勾选Base应用安装包,并单击页面底部的<下一步>按钮。
图7-17 Base上传完成
(7) 在当前页面无需任何操作,直接单击页面底部的<下一步>按钮。
图7-18 应用选择
(8) 单击<修改>按钮,配置Base参数,配置完成后单击<确定>按钮保存配置。
表7-5 Base参数配置说明
|
配置项 |
配置项参数说明 |
|
资源档位 |
支持选择single_large、single_medium、single_small三种档位。 |
|
CPU厂商信息 |
根据实际情况选择对应的CPU厂商。 |
图7-19 参数配置页面
(9) 参数配置完成后,单击<部署>按钮,开始部署Base。
· 安装时间会根据网络规模和组件的不同而有所变化,以单机小规模为例,通常需要0.6~0.7小时。
· 底盘单机部署时,U-Center可以在标准模式或Proxy模式(即代理模式)下进行部署,安装详细步骤分别见安装应用(标准模式)和安装应用(Proxy模式)。
· NSM、NSM_Extend详细安装步骤请见《H3C NSM安装部署指导》。
表3-2为U-Center组件相关的安装包,用户可以按需部署BMP、ITOM和NSM安装包。
· 融合部署页面可对指定应用进行查看详情、扩容、升级等操作。
· 请通过Matrix前台页面进行安装包上传操作,严禁通过后台传包。如果在特殊网络环境下需要通过后台传包,请联系技术支持工程师。
(1) 在浏览器中访问标准模式的底盘环境“https://ip_address:8443/matrix/ui”,输入Matrix的用户名和密码(默认用户名为admin)登录Matrix。其中“ip_address”为北向业务虚IP地址。
(2) 单击[部署>融合部署]菜单项,进入融合部署页面。
图8-1 融合部署
(3) 单击<安装包管理>按钮,进入安装包管理页面。该页面支持对融合部署安装包进行上传、删除等操作。
图8-2 安装包管理
(4) 单击<上传>按钮,在弹出窗口中单击<选择文件>按钮,选择一个或多个安装包文件后,单击<上传>按钮开始上传,上传完成后将自动回到安装包管理页面。
上传安装包支持两种方式:
· 上传ITOM包:上传ITOM组件总包,上传完成后会自动解压成组件安装包。
· 上传组件包:直接上传各组件安装包。
图8-3 上传ITOM组件总包
(1) 安装包上传完成后,返回融合部署页面。
(2) 单击<安装>按钮,进入应用选择页面。
¡ 场景选择:系统预置了3个典型应用场景,分别是U-Center统一运维场景、U-Center基础网管场景和U-Center ICT监控场景。用户可以按需选择单个或多个场景,系统将自动勾选已上传安装包且为该场景推荐的应用,用户可以根据需要取消或增加其他应用。
表8-1 U-Center典型应用场景
|
应用场景 |
场景特点 |
包含组件 |
|
U-Center 统一运维场景 |
聚集ICT全域资源统一管理 |
BMP_Common BMP_Connect BMP_Report BMP_UCP_BasePlat BMP_UCP_CollectPlat ITOM_IOM ITOM_CMDB ITOM_Agent ITOM_ITSM ITOM_BSM ITOM_UEM ITOM_ICE ITOM_PIPM ITOM_IPMS ITOM_JOB ITOM_PyCollector ITOM_STM ITOM_NQA NSM_Res NSM_Perf |
|
U-Center 基础网管场景 |
聚焦网管业务功能 |
BMP_Common BMP_Connect BMP_Report BMP_UCP_BasePlat BMP_UCP_CollectPlat ITOM_CMDB NSM_Res NSM_Perf |
|
U-Center ICT监控场景 |
聚焦ICT基础设施监控管理功能 |
BMP_Common BMP_Connect BMP_Report BMP_UCP_BasePlat BMP_UCP_CollectPlat ITOM_Agent ITOM_IOM ITOM_CMDB NSM_Res NSM_Perf |
¡ 自定义选择:用户可以根据需要自定义勾选一个或多个应用来进行安装。
· 当场景推荐的应用已全部安装时,场景名字展示为置灰状态无法勾选。
· 对于有依赖关系的应用,将自动勾选其所依赖的应用。如果依赖的应用未被部署或不在当前已有安装包内,则会提示相关信息。
图8-4 应用选择
(3) 单击<下一步>按钮,进入安装包选择页面。系统将自动选择默认安装包,用户也可以手动选择,选择后系统将对安装包进行校验。
图8-5 安装包选择
(4) 校验通过后,单击<下一步>按钮,进入资源配置页面,选择合适的资源档位。资源档位根据硬件资源计算工具中的“资源档位”结果进行选择。
图8-6 资源配置
(5) 单击<下一步>按钮,进入参数配置页面。根据页面提示,部分应用需配置参数。
配置参数说明:
· BMP_UCP_BasePlat、BMP_CMDB、ITOM_ITSM:需要选择部署的节点,单机部署模式下只有一个节点且必选。
· BMP_Extension:需要配置智能算法库和密码平台服务相关参数。
· BMP_Syslog:需要配置接收端口。
图8-7 参数配置
(6) 单击<部署>按钮,在弹出对话框中对依赖的中间节点和需要安装的应用进行确认,若在上一步骤有选择部署节点,还需确认应用节点。单击<确定>按钮,开始部署。
图8-8 参数确认
图8-9 部署中
(7) 部署成功后,将自动回到融合部署页面,查看已部署的应用。
图8-10 查看已部署应用
U-Center使用Proxy采集需准备两套环境:U-Center 5.0 Server(即按标准模式部署的环境)和U-Center 5.0 Proxy(即按代理模式部署的环境),Server为用户提供了统一的操作入口,用户所有的操作都在Server端进行,Proxy端只负责数据采集。
Proxy部署模式下,U-Center支持安装部分组件,如下表所示,用户可以按需部署安装包。
表8-2 Proxy部署应用安装包
|
产品包 |
安装包名称 |
说明 |
版本 |
|
UDTP |
UDTP_Base_version_platform.zip |
必选 |
E7104及以后版本 |
|
BMP |
BMP_Connect_version_platform.zip |
必选 |
|
|
BMP_UCP_BasePlat_version_platform.zip |
可选 |
||
|
BMP_UCP_CollectPlat_version_x86.zip |
可选 |
||
|
ITOM |
ITOM_Agent_version_platform.zip |
可选 |
|
|
ITOM_IOM_version_platform.zip |
可选 |
E7103及以后版本 |
|
|
ITOM_STM_version_platform.zip |
可选 |
||
|
ITOM_NQA_version_platform.zip |
可选 |
||
|
ITOM_PYCOLLECTOR_version_platform.zip |
可选 |
||
|
NSM |
NSM_RES_version_platform.zip |
可选 |
E7104及以后版本 |
|
NSM_PERF_version_platform.zip |
可选 |
||
|
NSM_ICC_version_platform.zip |
可选 |
· Proxy模式下安装的组件,需确保标准模式下对应组件已安装且版本保持一致。
· 如需在Proxy部署模式下使用Agent采集应用,必须安装ITOM_Agent。
· Proxy部署开放端口详情请见U-Center端口矩阵使用说明书。
请通过Matrix前台页面进行安装包上传操作,严禁通过后台传包。如果在特殊网络环境下需要通过后台传包,请联系技术支持工程师。
(1) 在浏览器中访问Proxy模式的底盘环境“https://ip_address:8443/matrix/ui”,输入Matrix的用户名和密码(默认用户名为admin)登录Matrix。其中“ip_address”为北向业务虚IP地址。
(2) 单击[部署>应用]菜单项,进入应用列表页面。
图8-11 应用列表
(3) 单击<部署应用>按钮,进入选择安装包页面。该页面支持对安装包进行上传、删除等操作。
图8-12 安装包管理
(4) 单击<上传>按钮,在弹出窗口中单击选择一个或多个安装包文件后,单击<上传>按钮开始上传。
图8-13 上传安装包
(1) 安装包上传完成后,选择需要安装的应用安装包,单击<下一步>按钮,开始解析安装包。
图8-14 选择安装包
(2) 安装包解析完成后,进入选择应用页面,确认已选择的应用。
图8-15 选择应用
(3) 单击<下一步>按钮,进入配置参数页面。查看当前应用软件包的各配置项及对应的配置项参数,并可按实际的网络规模和业务规模修改资源档位。资源档位根据硬件资源计算工具中的“资源档位”结果进行选择。
图8-16 配置参数
(4) 单击<部署>按钮,开始部署。
图8-17 部署中
(5) 部署成功后,单击<确定>按钮,将自动回到应用列表页面,查看已部署的应用。
图8-18 查看已部署应用
Proxy部署应用完成后,需启动region应用,确保U-Center中的“分级管理”菜单显示。
(1) 前往Proxy关联的Server端,在顶部导航“观测”菜单下,单击[监控>应用监控]菜单项,进入应用监控页面。
(2) 展开BMP_Connect组件下的应用,单击region应用操作列的
按钮,开启region。
图8-19 开启region
(1) 在浏览器中输入U-Center 5.0的登录地址“http://ip_address:30000”,其中“ip_address”为配置的北向业务虚IP,30000为缺省端口号,进入登录页面。
Proxy所在环境IP不支持访问U-Center,仅能通过其关联的Server端的IP进行访问。
图9-1 登录U-Center 5.0
(2) 输入操作员名称和密码(默认用户名为admin)后,单击<登录>按钮,进入U-Center 5.0主页面。
(3) 若在Proxy部署应用中已启动region,则在[系统>系统配置]菜单下将会显示“分级管理”菜单,并可在该页面对管理站进行管理操作,例如增加Proxy站点并在增加监控资源时使用,具体操作请见页面联机帮助。
图9-2 分级管理菜单
U-Center 5.0部署完成后,需要获取License授权后才能正常使用。已购买产品的用户,使用软件授权函中包含的授权码进行后续注册流程。如果是项目试用,请联系H3C相关市场人员进行试用授权申请获取相关授权。
License支持情况说明介绍了U-Center 5.0具体各个组件功能需要通过License授权以及License授权的相关属性,请参见《H3C 智能管理与运维产品License支持情况说明》中的“U-Center”章节。
关于授权的申请和安装详细过程,请参见《H3C软件产品远程授权License使用指南》。License文件导入H3C License Server授权管理系统后,需配置U-Center 5.0统一运维平台(作为License Client)使其与License Server联通。
(1) 登录H3C License Server授权管理系统,单击[首页>客户端管理>客户端配置]菜单项,进入客户端配置页面。
(2) 单击<增加>按钮,进入增加客户端页面,配置客户端名称与客户端密码。
(3) 单击<确认>按钮,增加客户端。
用于配置客户端连接License Server并获取授权。
(1) 登录U-Center 5.0统一运维平台。
(2) 选择“系统”页签,在左导航中单击[License管理>License信息]菜单项。
(3) 在License Server信息区域的输入框中输入License Server IP地址等参数,单击<连接>按钮,开始与License server建立连接。参数说明如下:
¡ IP地址:License Server所在服务器的IP地址。
¡ 端口号:缺省值为“5555”,与License Server授权服务端口号保持一致。
¡ 客户端名称:License Server中设置的客户端名称。
¡ 客户端密码:License Server中设置的客户端名称对应的密码。
(4) 成功建立连接即可从License server上获取授权。连接状态显示“连接成功”后,等待一会儿,单击
按钮可刷新当前License信息。
· 启动客户端服务时,需保证License Server的防火墙处于关闭状态,否则可能造成License Server不可连接。
· 启动客户端服务时,需保证License Server有未被申请的授权,否则可能造成License Client服务取不到任何授权。
登录License Server授权管理系统,单击“客户端管理>客户端连接”菜单项,进入客户端连接信息页面。该页面用于显示License Server的客户端连接信息,并可对客户端连接进行管理,如进行强制下线等操作。
· 在列表中单击最左侧的复选框选中指定客户端,单击<下线客户端>按钮,可批量下线已选中的所有客户端,或单击<下线全部客户端>按钮,可下线所有客户端。
· 在“操作”区段中单击“详情”图标,进入客户端连接详情页面。单击授权列表操作列“强制回收授权”图标,可以强制回收该授权,或单击<强制回收所有授权>按钮,可以强制回收分配给该客户端的所有授权。
在统一数字底盘中可对U-Center 5.0各组件执行备份恢复操作,具体步骤请参见《H3C统一数字底盘部署指导》。
若集群节点服务器的硬件出现故障,导致节点服务器运行异常且无法恢复时,需要更换新的节点服务器,或节点服务器操作系统异常,都需在原服务器上重新安装操作系统和Matrix。在统一数字底盘中可对集群执行故障恢复操作,具体步骤请参见《H3C统一数字底盘部署指导》。
· 当使用直接卸载Matrix的方式来卸载U-Center 5.0时,底盘组件本身的卸载处理并不会被触发执行,会存在残留数据,重新安装底盘之前,需要清空所有Matrix节点/var/lib/ssdata/目录下的内容。
· 卸载模块或单个应用包会导致相关数据被删除,卸载前需确认该模块或应用是否正在被使用,请谨慎执行卸载操作。
· 如需保留组件配置和数据,请在卸载前使用备份功能,请参见“备份恢复”。
· 如果要卸载的应用被其他应用所依赖,系统会一并勾选依赖于该应用的所有应用,以保证应用运行的完整性。此情况下,无法单独卸载该应用。
· 此处以在标准模式下卸载U-Center 5.0为例进行介绍。
(1) 在浏览器中访问“https://ip_address:8443/matrix/ui”,输入用户名和密码(默认用户名为admin)登录Matrix。其中“ip_address”为北向业务虚IP地址。
(2) 单击[部署>融合部署]菜单项,进入融合部署页面。
(3) 在列表中勾选一个或多个应用后,单击<卸载>按钮。
(4) 在弹出提示框中单击<确定>按钮,即可卸载应用。
图13-1 卸载应用
(1) 登录Matrix页面,单击“系统”页签,在弹出的菜单中选择“安全 > 安全策略”选项,进入安全策略页面。
(2) 单击<增加>按钮,进入增加安全策略页面。
(3) 在“基本设置”区域配置默认动作为“允许”。
(4) 在“规则信息”区域单击<增加>按钮,在弹出窗口中配置如下规则,配置完成后单击<确定>按钮。
¡ 源地址为节点上除Matrix使用的网卡外的其它网卡IP。
¡ 协议类型为TCP。
¡ 目标端口必须输入为:
8101,44444,2379,2380,8088,6443,10251,10252,10250,10255,10256。
¡ 动作为允许。
必须将所有节点上除Matrix使用的网卡外的其它网卡IP都加入到安全策略中。
例如节点1上除Matrix使用的网卡外还有一个网卡的IP为1.1.1.1,节点2上除Matrix使用的网卡外的网卡IP为2.2.2.2,节点3上除Matrix使用的网卡外的网卡IP为3.3.3.3,则需要在安全策略的规则中增加3条规则,源地址分别为1.1.1.1、2.2.2.2、3.3.3.3,协议类型都是TCP,目标端口都是“8101,44444,2379,2380,8088,6443,10251,10252,10250,10255,10256”,动作都为允许。
(5) 配置完成后,在页面右上方单击<确定>按钮。
(6) 在策略列表中启用指定的安全策略。可配置多条安全策略,但只允许启用1条策略。
图14-1 安全策略举例
(7) 开启被关掉的网卡,下面以eth33为例。
ifup eth33
集群各节点/opt/matrix/config/navigator_config.json中的配置必须保持一致,否则会影响集群稳定性。
(1) 登录集群中所有Master节点后台。
(2) 在navigator_config.json配置文件中,修改matrixLeaderLeaseDuration和matrixLeaderRetryPeriod参数取值。请确保集群中所有Master节点的参数配置相同。若配置文件中无上述两个参数,请手动增加。
下面以matrixLeaderRetryPeriod为2,matrixLeaderLeaseDuration为30为例进行修改。
[root@matrix01 ~]# vim /opt/matrix/config/navigator_config.json
{
…
"matrixLeaderLeaseDuration": 30,
"matrixLeaderRetryPeriod": 2,
…
}
(3) 修改完之后,重启集群服务。
[root@matrix01 ~]# systemctl restart matrix
· matrixLeaderLeaseDuration:用于配置集群主老化时间,取值为正整数,且大于等于matrixLeaderRetryPeriod * 10。
· matrixLeaderRetryPeriod:用于配置集群刷新主节点时锁的间隔时间,取值为正整数。
若扩容Matrix过程中长时间没有成功,可通过集群部署页面单击扩容节点的日志查看,是否是因为在ETCDINSTALL阶段停留时间过长(ETCDINSTALL-PENDING距离当前系统时间十五分钟以上视为停留过长),登录原单机环境后台执行etcdctl member list命令返回失败,则可通过如下方式将环境恢复至扩容前的状态,然后再次进行扩容:
(1) 登录原单机环境后台。
(2) 执行cp -f /opt/matrix/k8s/deployenv.sh.bk /opt/matrix/k8s/deployenv.sh命令还原deployenv.sh脚本。
(3) root用户通过systemctl stop matrix停止节点上Matrix服务。使用命令systemctl status matrix验证Matrix服务是否已经停止。若停止成功,则将在Active字段后显示运行信息为inactive (dead)。
[root@master1 ~]# systemctl stop matrix
非root用户通过sudo /bin/bash -c "systemctl stop matrix"停止节点上Matrix服务
[admin@node4 ~]$ sudo /bin/bash -c "systemctl stop matrix"
(4) 通过mv /etc/kubernetes/manifests/kube-apiserver.yaml /opt/matrix停止kube-apiserver。使用命令docker ps | grep kube-apiserver验证kube-apiserver服务是否已经停止。若无回显表示服务已停止。
[root@master1 ~]# mv /etc/kubernetes/manifests/kube-apiserver.yaml /opt/matrix
[root@master1 ~]# docker ps | grep kube-apiserver //查询是否已停止kube-apiserver
[root@master1 ~]# //无回显表示服务已停止
(5) root用户通过systemctl stop etcd完全停止etcd服务,使用命令systemctl status etcd验证etcd服务是否已经停止。若停止成功,则将在Active字段后显示运行信息为inactive (dead)。通过命令rm -rf /var/lib/etcd/default.etcd/删除etcd数据目录,确保/var/lib/etcd下面没有数据目录。
[root@master1 ~]# systemctl stop etcd
[root@master1 ~]# rm -rf /var/lib/etcd/default.etcd/
[root@master1 ~]# ll /var/lib/etcd/
非root用户通过sudo /bin/bash -c "systemctl stop etcd"完全停止etcd服务,并且通过命令sudo /bin/bash -c "rm -rf /var/lib/etcd/default.etcd/"删除etcd数据目录,确保/var/lib/etcd下面没有数据目录
[admin@node4 ~]$ sudo /bin/bash -c "systemctl stop etcd"
[admin@node4 ~]$ sudo /bin/bash -c "rm -rf /var/lib/etcd/default.etcd/"
[admin@node4 ~]$ ll /var/lib/etcd/
(6) 进入ETCD恢复脚本目录。
[root@master1 ~]# cd /opt/matrix/k8s/disaster-recovery/
(7) 执行etcd恢复脚本前,在etcd备份目录/opt/matrix/backup/etcd_backup_snapshot/找到最新的备份数据文件Etcd_Snapshot_Before_Scale.db。
root用户执行恢复操作命令如下
[root@master1 ~]# bash etcd_restore.sh Etcd_Snapshot_Before_Scale.db
非root用户执行恢复操作命令如下
[admin@node4 ~]$ sudo bash etcd_restore.sh Etcd_Snapshot_Before_Scale.db
(8) root用户通过systemctl restart etcd重启etcd服务
[root@master1 ~]# systemctl restart etcd
非root用户通过sudo /bin/bash -c "systemctl restart etcd"重启etcd服务
[admin@node4 ~]$ sudo /bin/bash -c "systemctl restart etcd"
(9) root用户通过systemctl restart matrix重启matrix服务
[root@master1 ~]# systemctl restart matrix
非root用户通过sudo /bin/bash -c "systemctl restart matrix"重启matrix服务
[admin@node4 ~]$ sudo /bin/bash -c "systemctl restart matrix"
(10) 恢复kube-apiserver
[root@master1 ~]# mv /opt/matrix/kube-apiserver.yaml /etc/kubernetes/manifests/
(11) 故障恢复完成后,登录Matrix集群部署页面,单击<开始部署>按钮再次扩容。
(1) 执行rm -rf /opt/matrix/data/ && systemctl restart matrix.service命令尝试恢复。
(2) 若该操作无法恢复,请手动上传Matrix安装包并解压,然后先后执行uninstall.sh和install.sh脚本卸载重装Matrix服务。
(3) 若依然无法恢复,请联系技术支持。
当在Matrix中添加节点失败,并且在/var/log/matrix-diag/Matrix/Matrix/matrix.log日志中报错“java.lang.NoClassDefFoundError”时,可执行以下操作解决:
(1) 执行rm -rf /opt/matrix/data/ && systemctl restart matrix.service命令尝试恢复。
(2) 若该操作无法恢复,请手动上传Matrix安装包并解压,然后先后执行uninstall.sh和install.sh脚本卸载重装Matrix服务。
(3) 若依然无法恢复,请联系技术支持。
当Matrix部署失败时,查看日志“phase IMAGE_INSTALL end. cname=ImageInstallPhase, phaseResult=false”则表示是在K8S阶段部署失败,可执行如下操作解决:
(1) 执行rm -rf /opt/matrix/data/ && systemctl restart matrix.service命令尝试恢复。
(2) 若该操作无法恢复,请手动上传Matrix安装包并解压,然后先后执行uninstall.sh和install.sh脚本卸载重装Matrix服务。
(3) 若依然无法恢复,请联系技术支持。
(1) 登录Matrix页面,进入[部署>集群>集群参数]页面。
(2) 单击<修改>按钮,将“开启双栈”置于启用状态后单击<确定>按钮。
(3) IPv4切换双栈:分别输入节点的IPv6地址和北向业务虚IP的IPv6地址。其中,节点的IPv6地址需要提前配置,可参考《H3C 统一数字底盘操作系统安装指导》的“网络和主机名”配置步骤,若操作系统已安装完成,可参考《H3C 统一数字底盘操作系统安装指导》的“操作系统安装完成后,在原网卡上配置IPv6地址”配置步骤进行配置。
(4) IPv6切换双栈:分别输入节点的IPv4地址和北向业务虚IP的IPv4地址。其中,节点的IPv4地址需要提前配置,可参考《H3C 统一数字底盘操作系统安装指导》的“网络和主机名”配置步骤,若操作系统已安装完成,可参考《H3C 统一数字底盘操作系统安装指导》的“操作系统安装完成后,在原网卡上配置IPv6地址”配置步骤进行配置。
(1) 登录Matrix页面,进入[观测>监控>应用监控]页面。
(2) 展开组件可以查看组件下的应用服务状态。
图14-2 查看应用服务
集群各节点/opt/matrix/config/navigator_config.json中的配置必须保持一致,否则会影响集群稳定性。
Matrix支持外部浏览器通过映射后的节点IP和虚IP访问Web页面,支持NAT映射和域名映射,不支持端口映射,必须使用8443端口。
如需使用映射IP访问Matrix页面,需在集群内各节点上进行以下操作:
(1) 将映射后的IP(或域名)加入到/opt/matrix/config/navigator_config.json的“httpHeaderHost”属性值中(若无该属性请手动补充,多个IP或域名使用英文逗号分隔),示例:"httpHeaderHost":"10.10.10.2,10.10.10.3"。
(2) 配置完后可以通过cat /opt/matrix/config/navigator_config.json | jq命令检查配置格式是否正确。
(3) 修改后需要通过service matrix restart重启服务生效,集群各节点配置需要保持一致。
拆除异地容灾或冷备系统以后,为了防止设备出现双主的情况,原备站点不会自动恢复WebSocket服务,如需恢复,请在备站点的任意节点上执行sh /opt/matrix/app/install/metadata/UNIFIED-PLATFORM-CONNECT/scripts/rdr/websocketRecoverRdr.sh命令进行恢复。
在worker节点上横向扩展WebSocket实例数量时,需通过手动增加Deployment的方式进行拓展,具体步骤如下:
(1) 进入任意目录,执行kubectl get deployment websocket-connection1 -n service-software -o yaml > connection1.yaml命令生成connection1.yaml文件。
(2) 执行sed "s/websocket-connection1/websocket-connection4/g;s/value: \"0\"/value: \"3\"/g;s/master: master1/worker: worker1/g" connection1.yaml > connection4.yaml命令生成要扩展的connection4.yaml。
(3) 执行kubectl apply -f connection4.yaml命令扩展Pod。
(4) 如果存在多个worker节点,需要继续扩展时,重复第(2)、(3)步。每次扩展时,需将websocket-connection4、value: "3"、worker1、connection4.yaml中的数字递增。例如,若需再扩展一个worker,相关参数应修改为websocket-connection5、value: "4"、worker2、connection5.yaml。
在升级、卸载软件时需手动清除worker节点上扩展的Deployment,具体步骤如下:
(1) 进入生成connection4.yaml文件的目录。
(2) 执行kubectl delete -f connection4.yaml命令删除扩展的Pod。
· 在安装第三方操作系统时,需要在软件选择步骤中选择“虚拟化主机”。如果未选择“虚拟化主机”,可能会导致缺少某些依赖包或安装错误版本的依赖包。
· 在执行yum group list命令之前,请先挂载虚拟光驱,否则命令会失败。
(1) 使用SSH登录到节点的后台。
(2) 在第三方系统安装完成后,准备好本地或网站的YUM源。然后,执行以下命令以检查是否安装了虚拟化主机软件。“已安装的环境组”表示当前系统中已安装的软件环境,而“可用环境组”表示可以通过YUM安装的软件环境。
[root@matrix01 ~]# yum group list
上次元数据过期检查:0:00:07 前,执行于 2024年11月26日 星期二 15时10分47秒。
可用环境组:
最小安装
基础设施服务器
文件及打印服务器
基本网页服务器
虚拟化主机
已安装的环境组:
带 UKUI GUI 的服务器
已安装组:
容器管理
无图形终端系统管理工具
可用组:
开发工具
传统 UNIX 兼容性
科学记数法支持
安全性工具
系统工具
智能卡支持
(3) 如果在“可用环境组”中存在“虚拟化主机”或“Virtualization Host”,可以直接使用yum group install -y "虚拟化主机"或者yum group install -y "Virtualization Host"命令安装虚拟化主机软件。
[root@matrix01 ~]#yum group install -y "虚拟化主机"
上次元数据过期检查:0:10:26 前,执行于 2024年11月26日 星期二 15时10分47秒。
….
….
….
已安装:
brltty-6.1-1.p01.ky10.x86_64 ………….完毕!
(4) 操作完成后,系统软件环境将补齐缺失的软件包。
(1) 安装依赖包后,执行Matrix安装时提示错误:runc版本低于rc6。
图14-3 安装Matrix时报错
(2) 问题的原因是操作系统安装时未选择虚拟化主机软件环境。
(3) 在安装依赖包的过程中,执行Docker组件安装后,runc版本已更新。但由于系统中已安装了默认的runc,导致使用的runc版本不正确。可以使用以下命令来检查runc的版本。
[root@matrix01 usr]# find /usr -name runc
/usr/bin/runc
/usr/local/bin/runc
(4) 通过执行runc -v命令检查每个runc的全路径,以找到正确的版本。下例中的其中一个runc版本为1.0.0-rc95,另一个为1.0.0-rc3。根据错误描述,由于rc3<rc6,所以rc95是正确的版本。只需用rc95的包覆盖rc3的包即可。
[root@ matrix01 usr]# /usr/bin/runc -v
runc version 1.0.0-rc95
commit: b9ee9c6314599f1b4a7f497e1f1f856fe433d3b7
spec: 1.0.2-dev
go: go1.13.15
libseccomp: 2.5.0
[root@ matrix01 usr]# /usr/local/bin/runc -v
runc version 1.0.0-rc3
commit: fabf83fd21f205c801571df4074024179eb03b44
spec: 1.0.0-rc5
(5) 执行如下命令进行覆盖。
[root@matrix01 usr]# cp /usr/bin/runc /usr/local/bin/runc
cp:是否覆盖'/usr/local/bin/runc'? y
[root@matrix01 usr]#
(6) 覆盖完成后重新执行安装脚本install.sh安装Matrix。
[root@ matrix01 usr]# sh install.sh
(1) 为seasqlplus-uc每个节点分别准备一块独立的磁盘。磁盘容量基于硬件资源计算工具计算结果中的数据盘“/var/lib/ssdata/middleware/seasqlplus-uc”大小确定。
图14-4 准备独立磁盘
(2) 安装操作系统时,选择已准备的独立磁盘。
图14-5 选择磁盘
(3) 为分区/var/lib/ssdata/middleware/seasqlplus-uc挂载独立磁盘,期望容量为硬件资源计算工具计算结果中该分区计算的大小,文件系统类型为ext4。修改设备,选择准备的独立磁盘配置挂载点。
图14-6 手动分区
图14-7 配置挂载点
(4) 完成后,即可按照该部署手册正常安装。
不同款型规格的资料略有差异, 详细信息请向具体销售和400咨询。H3C保留在没有任何通知或提示的情况下对资料内容进行修改的权利!
