• 产品与解决方案
  • 行业解决方案
  • 服务
  • 支持
  • 合作伙伴
  • 新华三人才研学中心
  • 关于我们

H3C 统一数字底盘部署指导-E0608-5W102

01-正文

本章节下载 01-正文  (6.01 MB)

docurl=/cn/Service/Document_Software/Document_Center/Home/Public/00-Public/Installation/Installation_Manual/H3C_SZDP_BS/202107/1421760_30005_0.htm

01-正文

  录

1 概述

1.1 文档目的

1.2 常用词

2 统一数字底盘安装过程简介

3 安装前的准备工作

3.1 IP地址规划

3.2 应用安装包说明

3.3 服务器配置需求

3.3.1 硬件配置需求

3.3.2 软件配置需求

3.4 客户端配置需求

3.5 安装环境确认

4 安装操作系统及依赖包

4.1 H3Linux操作系统及Installer平台

4.1.1 安装H3Linux操作系统

4.1.2 安装依赖包

4.2 银河麒麟V10操作系统

4.2.1 安装操作系统

4.2.2 安装依赖包

4.3 RHEL7.6操作系统

4.3.1 安装操作系统

4.3.2 安装依赖包

5 各场景依赖配置

5.1 前置部署说明

6 安装Installer平台(非自研系统必选)

6.1 安装前的检查

6.2 上传Installer平台软件安装包

6.3 安装Installer平台

7 HugePages配置(可选)

7.1 开启HugePages

7.2 关闭HugePages

8 安装统一数字底盘

8.1 登录Installer平台

8.2 多网卡环境

8.3 配置集群参数

8.4 创建集群

8.5 部署统一数字底盘应用安装包

9 访问统一数字底盘

10 软件注册

10.1 在License Server安装授权

10.2 获取License授权

11 管理统一数字底盘组件

11.1 部署或升级前的准备工作

11.1.1 启用网卡(可选)

11.2 部署组件

11.3 升级组件

11.4 卸载组件

12 备份恢复

12.1 备份配置

12.1.1 统一数字底盘及组件备份

12.2 恢复配置

12.2.1 统一数字底盘及组件恢复

13 集群灾备

13.1 故障设备替换

13.1.1 部署方式

13.1.2 恢复前的准备工作

13.1.3 故障恢复步骤

14 统一数字底盘和组件扩缩容

14.1 单机部署模式扩容

14.1.1 备份GFS内容

14.1.2 卸载GlusterFS应用

14.1.3 扩容Installer平台

14.1.4 重新安装GlusterFS应用

14.1.5 扩容统一数字底盘

14.1.6 恢复GFS备份

14.2 集群部署模式扩容

14.3 集群部署模式缩容

15 软件升级

15.1 升级Installer平台

15.1.1 集群部署模式下升级Installer平台

15.1.2 单机部署模式下升级Installer平台

15.2 升级统一数字底盘

16 卸载统一数字底盘

17 常见问题解答

 


1 概述

1.1  文档目的

本文档主要介绍统一数字底盘的部署过程。

1.2  常用词

·     H3Linux:H3C自研的Linux操作系统。

·     银河麒麟V10:V10版本的银河麒麟系统。

·     RHEL7.6:Red Hat Enterprise Linux 7.6版本操作系统。

·     Installer平台:该平台基于Kubernetes,实现了对Docker容器的编排调度。Installer平台主要用于Kubernetes集群的搭建,微服务的部署,以及系统、Docker容器、微服务等的运维监控。

·     Kubernetes:简称K8s,是一个开源的容器编排引擎,用于对容器化应用进行自动化部署、扩缩和管理。

·     Docker:是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化。

·     RAID:磁盘阵列(Redundant Arrays of Independent Drives),有“独立磁盘构成的具有冗余能力的阵列”之意。磁盘阵列是由很多价格较便宜的磁盘,组合成一个容量巨大的磁盘组,利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。利用这项技术,将数据切割成许多区段,分别存放在各个硬盘上。

·     GUI:图形用户界面(Graphical User Interface),是指采用图形方式显示的计算机操作用户界面。

 


2 统一数字底盘安装过程简介

统一数字底盘基于Installer平台安装,支持一个Master节点的单机部署模式和三个Master节点的集群部署模式,集群部署模式下支持增加Worker节点扩容。支持单机部署向集群模式的平滑扩容。

部署流程如表2-1所示。

表2-1 统一数字底盘部署流程汇总

步骤

具体操作

说明

服务器准备

·     单机部署模式准备1台服务器

·     集群部署模式准备至少3台服务器

必选

硬件和软件需求,请参见3.3  服务器配置需求

安装操作系统及依赖包

在服务器上安装操作系统及依赖包

必选

具体方法请参见4 安装操作系统及依赖包

场景依赖配置

请参考各方案部署指导中的前置部署说明。

可选

某些方案的部署,需要在操作系统安装完成之后进行特殊配置

安装Installer平台

在服务器上安装Installer平台

非自研系统必选

具体方法请参见6 安装Installer平台(非自研系统必选)

部署统一数字底盘

配置集群参数

必选

具体方法请参见8.2  多网卡环境以及8.3  配置集群参数

创建集群

必选

具体方法请参见8.4  创建集群,单机部署模式下,仅需配置一个Master节点,初次部署集群模式需配置三个Master节点

部署统一数字底盘

必选

具体方法请参见8.5  部署统一数字底盘应用安装包

 


3 安装前的准备工作

3.1  IP地址规划

部署统一数字底盘的IP地址规划如表3-1所示。此处以H3Linux操作系统为例进行说明。

表3-1 组网明细

IP地址规划

作用

备注

Master节点1 IP

为安装了H3Linux操作系统的Master节点分配的IP地址

必选项(单机部署模式只需要一个Master节点)

加入同一集群的所有Master节点的IP地址必须处于同一网段

Master节点2 IP

为安装了H3Linux操作系统的Master节点分配的IP地址

Master节点3 IP

为安装了H3Linux操作系统的Master节点分配的IP地址

集群内部虚IP

用于集群内部通信的IP地址

必选项

集群内部虚IP必须在Master节点所处的网段内

北向业务虚IP

通过Installer平台部署的应用的统一外部访问地址

必选项

北向业务虚IP必须在Master节点所处的网段内

Worker节点IP

安装H3Linux操作系统

可选项

Worker节点的IP地址必须与加入同一集群内的Master节点的IP处于同一网段

 

说明

当安装环境存在两张及以上网卡时,北向业务虚IP使用的网段必须和ifconfig命令查看到的第一块物理网卡的网段保持一致,否则会导致集群部署失败或Pod无法启动。

 

3.2  应用安装包说明

此处以H3Linux操作系统为例进行说明。当选择其它操作系统时,H3Linux的ISO文件不是必选项。

表3-2 应用安装包说明

安装包名称

功能说明

说明

common_H3Linux-<version>.iso

H3Linux操作系统的安装包

必选

common_PLAT_GlusterFS_2.0_<version>.zip

提供产品内本地共享存储功能

必选

general_PLAT_portal_2.0_<version>.zip

门户、统一认证、用户管理、服务网关、帮助中心

必选

general_PLAT_kernel_2.0_<version>.zip

权限、资源身份、License、配置中心、资源组、日志服务

必选

general_PLAT_kernel-base_2.0_<version>.zip

告警、访问参数模板、监控模板、报表、邮件短信转发服务

可选

general_PLAT_network_2.0_<version>.zip

基础网管(网络资源、网络性能、网络拓扑、iCC)

可选

general_PLAT_kernel_region_2.0_<version>.zip

上下级分级管理功能

可选

general_PLAT_Dashboard_2.0_<version>.zip

大屏框架

可选

general_PLAT_widget_2.0_<version>.zip

平台大屏Widget

可选

general_PLAT_websocket_2.0_<version>.zip

南向Websocket功能

可选

ITOA-Syslog-<version>.zip

Syslog相关功能

可选

general_PLAT_cmdb_2.0_<version>.zip

配置管理数据库

可选

general_PLAT_suspension_2.0_<version>.zip

资源挂牌

可选

 

3.3  服务器配置需求

3.3.1  硬件配置需求

统一数字底盘基于Installer平台安装,支持一个Master节点的单机部署模式和三个Master节点+N个Worker节点(N≥0)的集群部署模式,集群部署模式下支持Worker节点扩容。单机部署模式和集群部署模式均支持物理服务器部署或虚拟机部署。

统一数字底盘及各业务场景的硬件配置需求,请参考《AD-NET 5.3解决方案硬件配置指导》和相应业务场景的部署指导中的硬件配置及磁盘划分。

注意

·     分配给统一数字底盘的内存和磁盘必须符合推荐容量要求且确保有对应容量的物理资源,禁止启用超配模式(超额分配虚机资源),否则会导致统一数字底盘环境不稳定。

·     安装etcd的磁盘必须与安装系统及其它组件的磁盘分别对应不同的物理硬盘。

 

3.3.2  软件配置需求

如果选用H3Linux操作系统,在完成操作系统的安装后,将自动安装需要的依赖包及Installer平台。因此用户无需手动安装依赖包及Installer平台。非自研系统所需依赖包是不同的,请在对应操作系统安装章节查看。

说明

集群中所有节点必须安装相同版本的操作系统。

 

3.4  客户端配置需求

用户不需要安装客户端软件,使用浏览器即可访问统一数字底盘。推荐使用的浏览器为Google Chrome 70及以上版本,最低分辨率显示宽度为1600。

3.5  安装环境确认

安装环境请参考表3-3中所示的各个检测项目,确保安装统一数字底盘的条件已经具备。

表3-3 安装环境确认

检测项

检测标准

服务器

硬件检查

·     请检查硬件是否符合要求(包括CPU、内存、硬盘、网卡等)

软件检查

请检查如下几点:

·     操作系统版本符合要求

·     请检查系统时间已配置完成,建议配置NTP时间同步,整网使用统一的时钟源同步时间

·     请确保服务器已配置磁盘阵列

客户端

请确保浏览器版本符合要求

 

注意

·     推荐将服务器的下一次启动模式配置为UEFI模式。

·     安装操作系统时,请勿同时使用KVM给多个服务器安装同一镜像。

·     H5 KVM 性能不稳定,可能出现加载镜像停止或缓慢等问题,建议使用Java KVM进行安装。

·     安装过程中异常断电会导致部分服务安装失败,请重新安装以保证功能完整性。

·     统一数字底盘安装部署过程中,请勿进行开启或关闭防火墙的操作。

·     集群部署完成后,请勿修改系统时间,否则可能导致集群异常。

 


4 安装操作系统及依赖包

统一数字底盘有x86版本和ARM版本,支持多种操作系统并且基于Installer平台安装。

·     在H3Linux的镜像文件中集成了操作系统、Installer平台等应用软件包。在完成H3Linux操作系统的安装后,将自动安装需要的依赖包及Installer平台。因此用户无需手动安装依赖包及Installer平台。

·     非自研操作系统,需要先部署操作系统及依赖包,再部署Installer平台。

表4-1 统一数字底盘支持的操作系统及版本

统一数字底盘版本

支持操作系统

部署参考

x86

 

H3Linux V1.1.2

4.1  H3Linux操作系统及Installer平台

Red Hat Enterprise Linux 7.6

4.3  RHEL7.6操作系统以及

6 安装Installer平台(非自研系统必选)

ARM

银河麒麟 V10

4.2  银河麒麟V10操作系统以及

6 安装Installer平台(非自研系统必选)

 

说明

·     H3C自研产品对ARM和x86的支持情况,请参考各产品的版本发布文档。

·     集群中所有节点必须安装相同版本的操作系统。

 

4.1  H3Linux操作系统及Installer平台

注意

·     当安装环境存在两张及以上网卡时,北向业务虚IP使用的网段必须和ifconfig命令查看到的第一块物理网卡的网段保持一致,否则会导致集群部署失败或Pod无法启动。

·     每台节点服务器都需要为GlusterFS应用预留一块至少200GB的空磁盘、空闲空间或分区(有关如何为GlusterFS应用准备磁盘分区的方法,请参见17 1. 如何为GlusterFS准备磁盘空间?),且该的磁盘不能被格式化,否则会安装失败。若该磁盘被格式化,则可通过“wipefs -a /dev/磁盘名称”命令清空磁盘来进行修复。

 

本节以从未安装过任何操作系统的服务器为例,介绍如何在服务器上安装H3Linux操作系统并部署Installer平台。操作系统安装过程中系统将自动安装Installer平台。

4.1.1  安装H3Linux操作系统

(1)     使用服务器的远程控制台通过虚拟光驱加载安装软件包的ISO文件。

(2)     设置服务器从光盘启动,并重启服务器,等待ISO加载完成后,进入语言选择界面。

(3)     如图4-1所示,选择安装语言,此处以“中文/简体中文(中国)”为例,单击<继续>按钮,进入安装信息摘要页面。

图4-2 语言选择页面

 

 

(4)     如图4-2所示,在本地化区域点击“日期和时间”链接,进入日期&时间页面。

图4-3 安装信息摘要页面

 

(5)     设置系统的日期和时间,如图4-3所示,此处地区选择“亚洲”,城市选择“上海”,单击<完成>按钮,返回安装信息摘要页面。

图4-4 设置系统的日期和时间

 

(6)     在本地化区域点击“键盘”链接,设置键盘布局为“汉语”,如图4-4所示。

图4-5 设置键盘布局

 

 

(7)     如图4-5所示,在系统区域点击“安装位置”链接,进入安装目标位置页面。

图4-6 安装信息摘要界面

 

 

(8)     如图4-6所示,在本地标准磁盘区域选择两块目标磁盘,在其它存储选项区域选择分区为“我要配置分区(I)”后,单击<完成>按钮,进入手动分区页面。

图4-7 安装目标位置页面

 

 

(9)     在“新挂载点将使用以下分区方案(N)”下拉列表中选择分区方案,此处选择“标准分区”。

(10)     系统将自动创建磁盘分区,如图4-7所示。磁盘分区的具体信息如表4-2所示,支持手动修改配置信息。以DC场景为例的磁盘分区信息,请参考表4-3

a.     点击“添加新挂载点”图标,在弹出窗口中进行如下配置后,单击<添加挂载点>按钮。

-     挂载点:输入挂载点目录名称。

-     期望容量:输入磁盘容量并指定容量单位,例如“GiB”、“MiB”。

b.     单击<修改…>按钮,在弹出的配置挂载点窗口中,选择分区所挂载的磁盘后,单击<选择>按钮。

说明

·     由于使用两块磁盘,所以需要手动配置挂载点所驻留的磁盘,请确保“/var/lib/etcd”挂载在一块磁盘上(磁盘容量50GB及以上),其余分区挂载在另一块磁盘上。

·     目前支持VMware ESXi 6.7.0和H3C CAS-E0706。使用CAS部署时,若将系统盘挂载在IDE硬盘上,则禁止将etcd挂载在高速硬盘上。

·     如需部署SeerAnalyzer,请准备独立数据盘,并参考《H3C SeerAnalyzer安装部署指导》进行磁盘分区规划。

 

图4-8 磁盘分区列表

 

 

表4-2 磁盘分区

挂载点

预设容量

适用模式

备注

/var/lib/docker

400 GiB

BIOS模式/UEFI模式

磁盘空间充足时,可适当扩容

/boot

1024 MiB

BIOS模式/UEFI模式

-

swap

1024 MiB

BIOS模式/UEFI模式

-

/var/lib/ssdata

450 GiB

BIOS模式/UEFI模式

磁盘空间充足时,可适当扩容

/

400 GiB

BIOS模式/UEFI模式

磁盘空间充足时,可适当扩容,业务数据不建议放在根目录

/var/lib/etcd

50 GiB

BIOS模式/UEFI模式

需要挂载一个单独的磁盘

预留磁盘空间

-

-

GlusterFS使用。

系统磁盘总计1.7TB+50GB,以上挂载点的容量为1.23TB+50GB,剩余容量自动为GlusterFS预留。

 

表4-3 2.4TB系统磁盘分区划分(DC场景)

挂载点

最低容量

适用模式

备注

/var/lib/docker

500 GiB

BIOS模式/UEFI模式

磁盘空间充足时,可适当扩容

/boot

1024 MiB

BIOS模式/UEFI模式

-

swap

1024 MiB

BIOS模式/UEFI模式

-

/var/lib/ssdata

450 GiB

BIOS模式/UEFI模式

磁盘空间充足时,可适当扩容

/

1000 GiB

BIOS模式/UEFI模式

磁盘空间充足时,可适当扩容,业务数据不建议放在根目录

/boot/efi

200 MiB

UEFI模式

-

/var/lib/etcd

48 GiB

BIOS模式/UEFI模式

需要挂载一个单独的磁盘

预留磁盘空间

400 GiB

-

GlusterFS使用,需要后台进行手动分区,具体方法请参见17 1. 如何为GlusterFS准备磁盘空间?

系统磁盘总计2.3TB+50GB,以上挂载点的容量为1.91TB+50GB,剩余的400GB为GlusterFS预留。

 

说明

各业务场景的磁盘分区划分情况,请参考各场景的硬件部署指导或开局指导书。

各分区作用及容量大小说明如下:

·     /var/lib/docker/:与Docker的运行有关,需要根据实际运行情况确定容量大小。理论上需要各业务场景确定,部署组件后增量占用的磁盘容量,在此基础上扩容。

·     /var/lib/ssdata/:供PXC、Kafka、ZooKeeper使用,理论上只有统一数字底盘使用该分区,其它组件若使用,需要在此基础上扩容。

·     /:Installer平台使用,包括K8s,Harbor和各组件上传的安装包,该分区的容量和各组件上传的镜像大小有关,需要各组件确定占用的磁盘容量大小,在此基础上扩容。

·     GlusterFS:统一数字底盘使用200GB,其它组件如果使用,需要各组件确定占用的磁盘容量大小,在此基础上扩容。

 

(11)     单击<完成>按钮,若出现如图4-8所示信息,则需要创建一个“BIOS Boot”分区,大小为1 MiB。若未出现提示信息,则此步骤可以直接跳过。

图4-9 创建“BIOS Boot”分区的提示

 

(12)     弹出更改摘要窗口,如图4-9所示,单击<接受更改>按钮,返回安装信息摘要界面。

图4-10 更改摘要窗口

 

 

(13)     在系统区域点击“管理员帐户(A)”链接,进入选择管理员帐户界面,请根据实际需要选择。

该功能用于选择安装Installer并创建集群时使用的用户名,如需部署Installer集群,需为集群中的所有节点选择相同的用户名。选择admin用户时,系统默认同时创建root用户,但是禁用root用户的SSH权限;选择root用户时,该用户拥有所有功能的操作权限,admin用户将不被创建。

说明

·     若选择admin用户作为登录用户,请提前确认待部署的场景中,各应用都支持使用admin用户安装。

·     若选择admin用户作为登录用户,执行命令时,需要在命令前添加sudo指令。若执行的脚本为安装或卸载脚本,需要在命令前添加sudo /bin/bash指令,否则命令执行不成功。

 

图4-10所示,本文档选择“选择root用户作为管理员”,单击<完成>按钮,返回安装信息摘要界面。

图4-11 选择管理员帐户

 

 

(14)     在系统区域点击“网络和主机名”链接,进入网络和主机名页面。

(15)     如图4-11所示,在主机名文本框中输入主机名后,单击<应用>按钮。

图4-12 网络和主机名配置界面

 

 

说明

·     主机名只能包含小写字母、数字、连字符和小数点,且不能以连字符、小数点起始或结束。

·     建立Installer集群时,必须保证集群内各个节点的主机名互不相同,且符合主机名的命名规则,否则将会导致集群建立失败。

·     Installer集群部署前,若需要修改节点的主机名,可在节点操作系统的命令行界面,通过“hostnamectl set-hostname hostname命令进行修改,其中hostname为修改后的主机名。

·     Installer集群部署完成后,请不要再对操作系统的主机名进行修改。

 

(16)     在网络和主机名配置页面可配置网卡。支持将多张网卡绑定为一个逻辑网卡,实现本地网卡的冗余、带宽扩容和负载均衡。

¡     若配置网卡绑定,则可在操作系统安装完成后,在服务器上通过增加配置文件的方式配置,具体方法请参见17 2. 如何配置网卡绑定?

说明

请确保在创建集群之前,完成网卡绑定的配置。

 

¡     若不配置网卡绑定,单击<配置>按钮,在弹出的网络配置窗口中进行网卡配置。点击“常规”页签,勾选“可用时自动链接到这个网络(A)”项,“所有用户都可以连接这个网络”项保持默认勾选,如图4-12所示。

图4-13 常规页签

 

 

(17)     Installer支持IPv4和IPv6两种IP版本,不支持双协议栈。

¡     如需配置IPv4地址,请点击“IPv4设置”页签,在“方法”下拉框中选择“手动”,在地址区域单击<Add>按钮,配置服务器的IPv4地址(规划的Master节点IP),配置完成后,单击<保存>按钮保存配置,如图4-13所示。

¡     如需配置IPv6地址,请先点击“IPv4设置”页签,在“方法”下拉框中选择“禁用”;再点击“IPv6设置”页签,在“方法”下拉框中选择“手动”,在地址区域单击<Add>按钮,配置服务器的IPv6地址(规划的Master节点IP),配置完成后,单击<保存>按钮保存配置。

说明

·     配置IPv4、IPv6地址时必须指定网关,否则在创建集群时可能出现问题。

·     配置IPv6地址前,必须禁用IPv4地址,否则IPv6地址配置不生效。

·     操作系统安装完成后,建议不要使用ifconfig命令进行关闭、启动网卡的操作,否则可能导致环境异常,推荐使用ifup和ifdown命令。

·     Installer单独使用一个网口,不允许在此网口上配置子接口及子IP。

·     Installer节点其它网口的IP地址,不能和建立集群使用的IP处于同一网段。

 

图4-14 配置服务器的IPv4地址

 

 

(18)     在网络和主机名称配置页面,检查IP地址配置和网卡启用状态是否正确后,单击<完成>按钮,返回安装信息摘要页面。

(19)     单击<开始安装>按钮,开始安装操作系统。

(20)     操作系统安装过程中,系统会根据“管理员帐户”中的配置创建用户,若选择admin用户作为管理员,则需配置admin用户和root用户的登录密码;若选择root用户作为管理员,则需配置root用户的登录密码。若配置了用户的登录密码,则系统安装完成后,会自动重启完成安装过程;若未配置用户的登录密码,则系统安装完成后,会停留在该页面等待设置密码,此时请设置密码并单击<完成配置>按钮,然后等待系统自动重启即可。

本例只需为root用户设置密码,如图4-14所示。

图4-15 用户设置区域

 

 

(21)     安装完成后,服务器会自动重启,重启后的界面如图4-15所示。

图4-16 安装完成界面

 

 

(22)     登录操作系统,可以通过如图4-16所示命令“systemctl status matrix”验证Installer服务是否安装成功。若安装成功,则将在Active字段后显示运行信息为active (running)。

图4-17 验证Installer服务是否安装成功

 

 

4.1.2  安装依赖包

获取的镜像文件集成了操作系统、Installer平台等应用软件包,其中也包含依赖包。在完成H3Linux操作系统的安装后,将自动安装需要的依赖包及Installer平台。因此用户无需手动安装依赖包及Installer平台。

4.2  银河麒麟V10操作系统

注意

·     当安装环境存在两张及以上网卡时,北向业务虚IP使用的网段必须和ifconfig命令查看到的第一块物理网卡的网段保持一致,否则会导致集群部署失败或Pod无法启动。

·     每台节点服务器都需要为GlusterFS应用预留一块至少200GB的空磁盘、空闲空间或分区(有关如何为GlusterFS应用准备磁盘分区的方法,请参见17 1. 如何为GlusterFS准备磁盘空间?),且该的磁盘不能被格式化,否则会安装失败。若该磁盘被格式化,则可通过“wipefs -a /dev/磁盘名称”命令清空磁盘来进行修复。

 

本节以从未安装过任何操作系统的服务器为例,介绍如何在服务器上安装银河麒麟V10操作系统。

提示

如果服务器已安装操作系统,通过本章节的步骤安装银河麒麟V10后,会替换原来的操作系统,请在安装前进行数据备份,以免造成数据丢失。

 

4.2.1  安装操作系统

(1)     使用服务器的远程控制台通过虚拟光驱加载安装软件包的ISO文件。

(2)     设置服务器从光盘启动,并重启服务器,等待镜像加载完成后,进入语言选择界面。

(3)     如图4-17所示,选择安装语言,此处以“中文/简体中文(中国)”为例,单击<继续>按钮,进入安装信息摘要页面。

图4-18 语言选择页面

 

(4)     在本地化区域单击“日期和时间”链接设置系统的日期和时间,请为统一数字底盘所有节点配置相同的时区,这里以[亚洲/上海]为例,如图4-18所示。

图4-19 安装信息摘要页面

 

(5)     在本地化区域点击“键盘”链接,设置键盘布局为“汉语”,如图4-19所示。

图4-20 设置键盘布局

 

(6)     在软件区域单击“软件选择”链接进入软件选择界面,如图4-20所示。选择基本环境为“虚拟化主机”,附加选项不用选。完成后单击<完成>按钮返回安装信息摘要界面。

图4-21 软件安装选择界面

 

(7)     在系统区域点击“安装位置”链接,进入安装目标位置页面。如图4-6所示,在本地标准磁盘区域选择两块目标磁盘,在其它存储选项区域选择分区为“我要配置分区(I)”后,单击<完成>按钮,进入手动分区页面。

图4-22 安装目标位置页面

 

(8)     在“新挂载点将使用以下分区方案(N)”下拉列表中选择分区方案,支持标准分区和LVM分区两种,此处选择“标准分区”。

(9)     磁盘分区的具体信息如表4-4所示。创建磁盘分区,如图4-22图4-23所示。以DC场景为例的磁盘分区信息,请参考表4-3

a.     点击“添加新挂载点”图标,在弹出窗口中进行如下配置后,单击<添加挂载点>按钮。

-     挂载点:输入挂载点目录名称。

-     期望容量:输入磁盘容量并指定容量单位,例如“GiB”、“MiB”。

b.     单击<修改…>按钮,在弹出的配置挂载点窗口中,选择分区所挂载的磁盘后,单击<选择>按钮。

注意

填写容量单位时,一定要写成“GiB”、“MiB” ,如果写成“GB” 、“MB”,容量大小会发生折算的。

以下容量为推荐容量,除“/boot”、“swap”、”/home”、“/boot/efi”按下列容量大小,其余分区实际大小可根据实际磁盘大小进行调整。

 

表4-4 磁盘分区

挂载点

推荐容量

适用模式

备注

/var/lib/docker

400 GiB

BIOS模式/UEFI模式

根据产品需求设置容量大小,建议不少于400 GiB

/boot

1024 MiB

BIOS模式/UEFI模式

不少于1024 MiB

swap

1024 MiB

BIOS模式/UEFI模式

不少于1024 MiB

/var/lib/ssdata

450 GiB

BIOS模式/UEFI模式

磁盘空间充足时,可适当扩容

/

400 GiB

BIOS模式/UEFI模式

不少于400 GiB

/boot/efi

200 MiB

UEFI模式

不少于200 MiB

/var/lib/etcd

48 GiB

BIOS模式/UEFI模式

需要挂载一个单独的磁盘

 

图4-23 手动配置磁盘分区

 

图4-24 磁盘分区列表

 

(10)     单击<完成>按钮,若出现如图4-24所示信息,则需要创建一个“BIOS Boot”分区,大小为1 MiB。若未出现提示信息,则此步骤可以直接跳过。

图4-25 创建“BIOS Boot”分区的提示

 

(11)     弹出更改摘要窗口,如图4-25所示,单击<接受更改>按钮,返回安装信息摘要界面。

图4-26 更改摘要窗口

 

(12)     在系统区域点击“网络和主机名”链接,进入网络和主机名页面。

(13)     如图4-26所示,在主机名文本框中输入主机名后,单击<应用>按钮。

图4-27 网络和主机名配置界面

 

注意

·     主机名只能包含小写字母、数字、连字符和小数点,且不能以连字符、小数点起始或结束。

·     建立Installer集群时,必须保证集群内各个节点的主机名互不相同,且符合主机名的命名规则,否则将会导致集群建立失败。

·     Installer集群部署前,若需要修改节点的主机名,可在节点操作系统的命令行界面,通过“hostnamectl set-hostname hostname命令进行修改,其中hostname为修改后的主机名。

·     Installer集群部署完成后,请不要再对操作系统的主机名进行修改。

 

(14)     在网络和主机名配置页面可配置网卡。支持将多张网卡绑定为一个逻辑网卡,实现本地网卡的冗余、带宽扩容和负载均衡。

¡     若不配置网卡绑定,单击<配置>按钮,在弹出的网络配置窗口中进行网卡配置。点击“常规”页签,勾选“可用时自动链接到这个网络(A)”项,“所有用户都可以连接这个网络”项保持默认勾选,如图4-27所示。

图4-28 常规页签

 

(15)     Installer平台支持IPv4和IPv6两种IP版本,不支持双协议栈。

¡     如需配置IPv4地址,请点击“IPv4设置”页签,在“方法”下拉框中选择“手动”,在地址区域单击<Add>按钮,配置服务器的IPv4地址(规划的Master节点IP),配置完成后,单击<保存>按钮保存配置,如图4-28所示。本次部署只配置IPv4。

¡     如需配置IPv6地址,请先点击“IPv4设置”页签,在“方法”下拉框中选择“禁用”;再点击“IPv6设置”页签,在“方法”下拉框中选择“手动”,在地址区域单击<Add>按钮,配置服务器的IPv6地址(规划的Master节点IP),配置完成后,单击<保存>按钮保存配置。

注意

·     配置IPv4、IPv6地址时必须指定网关,否则在创建集群时可能出现问题。

·     配置IPv6地址前,必须禁用IPv4地址,否则IPv6地址配置不生效。

·     操作系统安装完成后,建议不要使用ifconfig命令进行关闭、启动网卡的操作,否则可能导致环境异常,推荐使用ifupifdown命令。

 

图4-29 配置服务器的IPv4地址

 

(16)     单击<完成>按钮,返回安装信息摘要页面。

(17)     本地电脑控制端窗口执行命令“ping IP_Dress”(IP_Dress为IPv4设置页签配置的IP地址),检查刚才配置的IP地址是否连通。如果Ping通,则接着往下进行,否则返回刚才页签,检查掩码网关等信息是否配置正确。

(18)     单击<开始安装>按钮,开始安装操作系统。

(19)     操作系统安装过程中,需配置root用户的登录密码,如图4-29所示。同时您可以单击<创建用户(U)>按钮选择在该页面创建非root用户,进入创建用户页面并配置用户名和密码,如图4-30所示,单击<完成>按钮返回安装页面。

图4-30 用户设置区域

 

图4-31 创建非root用户

 

(20)     安装完成界面如图4-31所示,单击<重启>按钮,重启系统,完成操作系统安装。

图4-32 安装完成界面

 

4.2.2  安装依赖包

1. 依赖的软件包

统一数字底盘的正常运行需要依赖软件包的支持,其依赖的软件包及版本如表4-5表4-6所示。

表4-5 银河麒麟V10操作系统依赖包及版本号

操作系统

依赖包名称

版本号

银河麒麟V10

zip

3.0

unzip

6.0

tar

1.26

gzip

1.5

chrony

3.2

ntpdate

4.2.6p5

nfs-utils

1.3.0

net-tools

2.0

bridge-utils

1.5

openssh

7.4p1

curl

7.29.0

ebtables

2.0.10

ethtool

4.8

iproute2

4.11.0

iptables

1.4.21

lvm2

2.02.180

python-chardet

2.2.1

 

表4-6 需手动安装的依赖包以及版本号

操作系统

依赖包名称

版本号

银河麒麟V10

java openjdk

1.8.0

docker-ce-cli

18.09.6

docker-ce

18.09.6

containerd

1.2.13

libndp

1.2-9

glusterfs

6.0

sshpass

1.06

mariadb

5.5

 

2. 获取及安装依赖包

银河麒麟V10操作系统中需手动安装的依赖包无法从银河麒麟操作系统官方网站获取,请联系技术支持工程师获取指定版本的软件包,并将软件包拷贝至服务器的待安装目录下,或使用FTP等文件传输协议将软件包上传到待安装目录下。

说明

如果需要使用FTP、TFTP协议上传下载,请选择binary模式(二进制模式)传输,以免损坏软件包。

 

依赖包安装方法:

(1)     关闭NetworkManager。

service NetworkManager stop

systemctl disable NetworkManager

(2)     关闭防火墙。

systemctl stop firewalld && systemctl disable firewalld

(3)     查看防火墙的状态。

systemctl status firewalld

(4)     将获取的yum源文件包拷贝到/etc/yum.repos.d/目录下,并删除该目录下原有的yum源文件。

(5)     建立元数据缓存,如图4-32所示。

# yum clean all

# yum makecache

图4-33 建立元数据缓存

 

(6)     修改vm.max_map_count参数,如图4-33所示。

# sysctl -a|grep vm.max_map_count

图4-34 修改参数

 

查看返回结果,确认vm.max_map_count参数不小于262144。

如果参数小于262144,请在/etc/sysctl.conf文件的最后,增加一行

vm.max_map_count=262144,然后执行命令sysctl -p。

再次查看,确认vm.max_map_count = 262144,再继续进行安装操作。

(7)     通过命令yum install -y安装依赖软件包。

[root@node1] yum install -y java-1.8.0-openjdk*

[root@node1] yum install -y containerd.io-1.2.13*

[root@node1] yum install -y docker-ce-18.09.6*

[root@node1] yum install -y libndp-1.2-9.el7*

(8)     安装完成后,可通过命令yum list installed | grep查看安装的依赖包版本。

(9)     操作系统中必须要装有lvm2软件,否则卸载时无法清理磁盘,导致部署GlusterFS应用失败。

¡     查询软件是否已经安装rpm -qa |grep lvm

¡     如果没有安装,使用安装命令yum install lvm2

(10)     安装GlusterFS。系统也支持使用对应版本的离线包进行安装。

[root@node1] yum install -y glusterfs-fuse

必须在安装了GlusterFS的服务器上加载内核模块。

¡     modprobe dm_snapshot

¡     modprobe dm_thin_pool

¡     modprobe dm_mirror

(11)     通过lsmod |egrep "dm_snapshot|dm_mirror|dm_thin_pool"命令,查看内核模块是否加载成功,如图4-34所示。

图4-35 查看内核模块加载情况

 

(12)     安装sshpass依赖包。

¡     查询软件是否已经安装yum list installed |grep sshpass

¡     如果没有安装,使用安装命令yum install -y sshpass

(13)     安装MySQL客户端。

[root@m03 packages]# yum install mariadb

4.3  RHEL7.6操作系统

注意

·     当安装环境存在两张及以上网卡时,北向业务虚IP使用的网段必须和ifconfig命令查看到的第一块物理网卡的网段保持一致,否则会导致集群部署失败或Pod无法启动。

·     每台节点服务器都需要为GlusterFS应用预留一块至少200GB的空磁盘、空闲空间或分区(有关如何为GlusterFS应用准备磁盘分区的方法,请参见17 1. 如何为GlusterFS准备磁盘空间?),且该的磁盘不能被格式化,否则会安装失败。若该磁盘被格式化,则可通过“wipefs -a /dev/磁盘名称”命令清空磁盘来进行修复。

 

本节以从未安装过任何操作系统的服务器为例,介绍如何在服务器上安装RHEL7.6操作系统。

提示

如果服务器已安操作系统,通过本章节的步骤安装RHEL7.6后,会替换原来的操作系统,请在安装前进行数据备份,以免造成数据丢失。

 

4.3.1  安装操作系统

(1)     使用服务器的远程控制台通过虚拟光驱加载安装软件包的ISO文件。

(2)     设置服务器从光盘启动,并重启服务器,等待ISO加载完成后,进入语言选择界面。

(3)     如图4-35所示,选择安装语言,此处以“中文/简体中文(中国)”为例,单击<继续>按钮,进入安装信息摘要页面。

图4-36 语言选择页面

 

(4)     在本地化区域点击“日期和时间”链接,如图4-36所示,进入日期&时间页面。

图4-37 安装信息摘要页面

 

(5)     设置系统的日期和时间,请为统一数字底盘所有节点配置相同的时区。此处地区选择“亚洲”,城市选择“上海”,单击<完成>按钮,返回安装信息摘要页面。

(6)     在本地化区域点击“键盘”链接,设置键盘布局为“汉语”,如图4-37所示。

图4-38 设置键盘布局

 

(7)     在软件区域单击“软件选择”链接进入软件选择界面,选择基本环境为“虚拟化主机”,附加选项不用选,如图4-38所示。完成后单击<完成>按钮,返回安装信息摘要界面。

图4-39 软件安装选择界面

 

(8)     在系统区域点击“安装位置”链接,进入安装目标位置页面。如图4-39所示,在本地标准磁盘区域选择两块目标磁盘,在其它存储选项区域选择分区为“我要配置分区(I)”后,单击<完成>按钮,进入手动分区页面。

图4-40 安装目标位置页面

 

(9)     在“新挂载点将使用以下分区方案(N)”下拉列表中选择分区方案,支持标准分区和LVM分区两种,此处选择“标准分区”。

(10)     操作系统分区的具体信息如图4-40所示。以DC场景为例,服务器的系统磁盘为2.4TB,进行如下操作,创建操作系统分区,如表4-7所示。

a.     点击“添加新挂载点”图标,在弹出窗口中进行如下配置后,单击<添加挂载点>按钮。

-     挂载点:输入挂载点目录名称。

-     期望容量:输入磁盘容量并指定容量单位,例如“GiB”、“MiB”。

b.     单击<修改…>按钮,在弹出的配置挂载点窗口中,选择分区所挂载的磁盘后,单击<选择>按钮。

说明

·     由于使用两块磁盘,所以需要手动配置挂载点所驻留的磁盘,请确保“/var/lib/etcd”挂载在一块磁盘上(磁盘容量50GB及以上),其余分区挂载在另一块磁盘上。

·     使用CAS部署时,若将系统盘挂载在IDE硬盘上,则禁止将etcd挂载在高速硬盘上。

·     如需部署SeerAnalyzer,请准备独立数据盘,并参考《H3C SeerAnalyzer安装部署指导》进行磁盘分区规划。

 

图4-41 磁盘分区列表

 

表4-7 2.4TB系统磁盘分区划分(DC场景)

挂载点

最低容量

适用模式

备注

/var/lib/docker

500 GiB

BIOS模式/UEFI模式

磁盘空间充足时,可适当扩容

/boot

1024 MiB

BIOS模式/UEFI模式

-

swap

1024 MiB

BIOS模式/UEFI模式

-

/var/lib/ssdata

450 GiB

BIOS模式/UEFI模式

磁盘空间充足时,可适当扩容

/

1000 GiB

BIOS模式/UEFI模式

磁盘空间充足时,可适当扩容,业务数据不建议放在根目录

/boot/efi

200 MiB

UEFI模式

-

/var/lib/etcd

48 GiB

BIOS模式/UEFI模式

需要挂载一个单独的磁盘

预留磁盘空间

400 GiB

-

GlusterFS使用,需要后台进行手动分区,具体方法请参见17 1. 如何为GlusterFS准备磁盘空间?

系统磁盘总计2.3TB+50GB,以上挂载点的容量为1.91TB+50GB,剩余的400GB为GlusterFS预留。

 

说明

各业务场景的磁盘分区划分情况,请参考各场景的硬件部署指导或开局指导书。

各分区作用及容量大小说明如下:

·     /var/lib/docker/:与Docker的运行有关,需要根据实际运行情况确定容量大小。理论上需要各业务场景确定,部署组件后增量占用的磁盘容量,在此基础上扩容。

·     /var/lib/ssdata/:供PXC、Kafka、ZooKeeper使用,理论上只有统一支撑底盘使用该分区,其它组件若使用,需要在此基础上扩容。

·     /:Installer平台使用,包括K8s,Harbor和各组件上传的安装包,该分区的容量和各组件上传的镜像大小有关,需要各组件确定占用的磁盘容量大小,在此基础上扩容。

·     GlusterFS:统一支撑底盘使用200GB,其它组件如果使用,需要各组件确定占用的磁盘容量大小,在此基础上扩容。

 

(11)     单击<完成>按钮,若出现如图4-41所示信息,则需要创建一个“BIOS Boot”分区,大小为1 MiB。若未出现提示信息,则此步骤可以直接跳过。

图4-42 创建“BIOS Boot”分区的提示

 

(12)     弹出更改摘要窗口,如图4-42所示,单击<接受更改>按钮,返回安装信息摘要界面。

图4-43 更改摘要窗口

 

(13)     在系统区域点击“网络和主机名”链接,进入网络和主机名页面。

(14)     如图4-43所示,在主机名文本框中输入主机名后,单击<应用>按钮。

图4-44 网络和主机名配置界面

 

注意

·     主机名只能包含小写字母、数字、连字符和小数点,且不能以连字符、小数点起始或结束。

·     建立Installer集群时,必须保证集群内各个节点的主机名互不相同,且符合主机名的命名规则,否则将会导致集群建立失败。

·     Installer集群部署前,若需要修改节点的主机名,可在节点操作系统的命令行界面,通过“hostnamectl set-hostname hostname命令进行修改,其中hostname为修改后的主机名。

·     Installer集群部署完成后,请不要再对操作系统的主机名进行修改。

 

(15)     在网络和主机名配置页面可配置网卡。支持将多张网卡绑定为一个逻辑网卡,实现本地网卡的冗余、带宽扩容和负载均衡。

¡     若不配置网卡绑定,单击<配置>按钮,在弹出的网络配置窗口中进行网卡配置。点击“常规”页签,勾选“可用时自动链接到这个网络(A)”项,“所有用户都可以连接这个网络”项保持默认勾选,如图4-44所示。

图4-45 常规页签

 

(16)     Installer支持IPv4和IPv6两种IP版本,不支持双协议栈。

¡     如需配置IPv4地址,请点击“IPv4设置”页签,在“方法”下拉框中选择“手动”,在地址区域单击<Add>按钮,配置服务器的IPv4地址(规划的Master节点IP),配置完成后,单击<保存>按钮保存配置,如图4-45所示。本次部署只配置IPv4。

¡     如需配置IPv6地址,请先点击“IPv4设置”页签,在“方法”下拉框中选择“禁用”;再点击“IPv6设置”页签,在“方法”下拉框中选择“手动”,在地址区域单击<Add>按钮,配置服务器的IPv6地址(规划的Master节点IP),配置完成后,单击<保存>按钮保存配置。

注意

·     配置IPv4、IPv6地址时必须指定网关,否则在创建集群时可能出现问题。

·     配置IPv6地址前,必须禁用IPv4地址,否则IPv6地址配置不生效。

·     操作系统安装完成后,建议不要使用ifconfig命令进行关闭、启动网卡的操作,否则可能导致环境异常,推荐使用ifup和ifdown命令。

 

图4-46 配置服务器的IPv4地址

 

(17)     单击<完成>按钮,返回安装信息摘要页面。

(18)     本地电脑控制端窗口执行命令”ping IP_Dress”(IP_Dress为IPv4设置页签配置的IP地址),检查刚才配置的IP地址是否连通。如果Ping通,则接着往下进行,否则返回刚才页签,检查掩码网关等信息是否配置正确。

(19)     单击<开始安装>按钮,开始安装操作系统。

(20)     操作系统安装过程中,需配置root用户的密码。如需使用非root用户进行安装操作,则创建非root用户。

(21)     安装完成,点击<重启>按钮,重启系统,如图4-46所示。

图4-47 安装完成界面

 

(22)     重启后通过服务器的远程控制台,登录操作系统命令行界面,,如图4-47所示。

图4-48 安装完成界面

 

4.3.2  安装依赖包

1. 依赖的软件包

统一数字底盘的正常运行需要依赖软件包的支持,其依赖的软件包及版本如表4-8表4-9所示。

表4-8 RHEL7.6操作系统依赖包及版本号

操作系统

依赖包名称

版本号

RHEL7.6

zip

3.0

unzip

6.0

tar

1.26

gzip

1.5

chrony

3.2-2

ntpdate

4.2.6p5

nfs-utils

1.3.0

net-tools

2.0

bridge-utils

1.5-9

libndp

1.2-7

openssh

7.4p1

perl-Carp

1.26

curl

7.29.0

ebtables

2.0.10-16

ethtool

4.8-9

iproute

4.11.0-14

iptables

1.4.21-28

lvm2

2.02.180

python-chardet

2.2.1

 

表4-9 需要手动安装的依赖包以及版本号

操作系统

依赖包名称

版本号

RHEL7.6

java openjdk

1.8.0

docker-ce-cli

18.09.6

docker-ce

18.09.6

containerd

1.2.13

libndp

1.2-9

glusterfs

6.0

sshpass

1.06

mariadb

5.5

 

2. 获取及安装依赖包

RHEL7.6操作系统中需手动安装的依赖包无法从RHEL7.6操作系统官方网站获取,请联系技术支持工程师获取指定版本的软件包,并将软件包拷贝至服务器的待安装目录下,或使用FTP等文件传输协议将软件包上传到待安装目录下。

说明

如果需要使用FTP、TFTP协议上传下载,请选择binary模式(二进制模式)传输,以免损坏软件包。

 

依赖包安装方法:

(1)     关闭NetworkManager。

service NetworkManager stop

systemctl disable NetworkManager

(2)     关闭防火墙。

systemctl stop firewalld && systemctl disable firewalld

(3)     查看防火墙的状态。

systemctl status firewalld

(4)     配置网络,使系统能访问yum源网站。

(5)     将获取的yum源文件包拷贝到/etc/yum.repos.d/目录下,并删除该目录下原有的yum源文件。

(6)     建立元数据缓存,如图4-48所示。

# yum clean all

# yum makecache

图4-49 建立元数据缓存

 

(7)     修改vm.max_map_count参数,如图4-49所示。

# sysctl -a|grep vm.max_map_count

图4-50 修改参数

 

查看返回结果,确认vm.max_map_count参数不小于262144。

如果参数小于262144,请在/etc/sysctl.conf文件的最后,增加一行

vm.max_map_count=262144,然后执行命令sysctl -p。

再次查看,确认vm.max_map_count = 262144,再继续进行安装操作。

(8)     通过命令yum install -y安装依赖软件包。

[root@node1] yum install -y java-1.8.0-openjdk*

[root@node1] yum install -y containerd.io-1.2.13*

[root@node1] yum install -y docker-ce-cli-18.09.6*

[root@node1] yum install -y docker-ce-18.09.6*

[root@node1] yum install -y libndp-1.2-9*

(9)     安装完成后,可通过命令yum list installed | grep查看安装的依赖包版本。

(10)     操作系统中必须要装有lvm2软件,否则卸载时无法清理磁盘,导致部署GlusterFS应用失败。

¡     查询软件是否已经安装rpm -qa |grep lvm

¡     如果没有安装,使用安装命令yum install lvm2

(11)     安装GlusterFS。系统也支持使用对应版本的离线包进行安装。

[root@node1] yum install -y glusterfs-fuse

必须在安装了GlusterFS的服务器上加载内核模块。

¡     modprobe dm_snapshot

¡     modprobe dm_thin_pool

¡     modprobe dm_mirror

(12)     通过lsmod |egrep "dm_snapshot|dm_mirror|dm_thin_pool"命令,查看内核模块是否加载成功,如图4-50所示。

图4-51 查看内核模块加载情况

 

说明

内核模块加载情况在不同Linux版本上的结果不同,此处仅供参考。

 

(13)     安装sshpass依赖包。

¡     查询软件是否已经安装yum list installed |grep sshpass

¡     如果没有安装,使用安装命令yum install -y sshpass

(14)     安装MySQL 客户端。

[root@m03 packages]# yum install mariadb

 


5 各场景依赖配置

5.1  前置部署说明

某些方案的部署,需要在操作系统安装完成之后进行特殊配置,请参考各方案部署指导中的前置部署说明。

 


6 安装Installer平台(非自研系统必选)

6.1  安装前的检查

安装环境请参考表6-1中所示的各个检测项,确保安装Installer平台的条件已经具备。

表6-1 安装环境确认

检测项

检测标准

网口

Installer单独使用一个网口,不允许在此网口上配置子接口及子IP。

IP地址

·     Installer节点其他网口上的IP地址不允许和本节点Installer使用的IP地址相同网段。

·     节点与Installer集群其他节点通信使用的IP源地址,必须为建立Installer集群使用的IP地址。可以使用命令ip route get targetIP获取主机访问目标IP时使用的源地址,其中targetIP为目标IP。

[root@matrix01 ~]# ip route get 100.100.5.10

100.100.5.10 via 192.168.10.10 dev eth0 src 192.168.5.10

时区

请确保Installer所有节点的系统时区必须相同(可使用命令timedatectl查看各节点的系统时区),否则将会导致在GUI页面上增加节点失败。

主机名

请确保主机名符合如下标准,否则集群将会建立失败。

·     各节点的主机名不能相同。

·     主机名称最长63个字符,仅支持小写字母、数字、连字符和小数点,不能以0开头且全为数字,不能以0x、连字符、小数点开头,以连字符、小数点结尾。

 

6.2  上传Installer平台软件安装包

获取软件安装包,并将软件包拷贝至服务器的待安装目录下,或使用FTP等文件传输协议将软件包上传到指定目录。

说明

如果需要使用FTP、TFTP协议上传下载,请选择binary模式(二进制模式)传输,以免损坏软件包。

 

6.3  安装Installer平台

当前系统支持使用root用户和非root用户安装Installer平台软件包,推荐使用root用户进行安装。

若使用非root用户安装软件包,则需在root用户下通过visudo命令修改配置文件,并在配置文件结尾处添加如下配置项为该用户添加安装权限,其中username表示当前用户名,具体配置如下:

[root@matrix01 ~]# visudo

<username> ALL=(root) NOPASSWD:/bin/bash

说明

·     如果是非root环境,请用非root用户登录系统,通过sudo bash install.sh命令,执行Installer安装脚本。

·     如果是非root环境,请在部署统一数字底盘应用前,先手动创建日志目录,并修改所有者。

[root@master01 ~]# mkdir -p /var/log/ucenter && chown admin:wheel /var/log/ucenter

[root@master01 ~]# ll -d /var/log/ucenter

 

本文将以root用户安装为例进行说明。

(1)     进入Installer平台软件包(.zip文件)的存放路径,安装Installer平台软件。软件包的名称格式为Matrix-version-platform.zip,其中version为版本号,platform为CPU架构类型,包括x86_64和ARM 64。下面以x86_64版本为例进行安装。

[root@matrix01 ~]# unzip Matrix-V500R002B08SP01-x86_64.zip

Archive:  Matrix-V500R002B08SP01-x86_64.zip

   creating: Matrix-V500R002B08SP01-x86_64/

   extracting: Matrix-V500R002B08SP01-x86_64/matrix.tar.xz

   inflating: Matrix-V500R002B08SP01-x86_64/install.sh

   inflating: Matrix-V500R002B08SP01-x86_64/uninstall.sh

[root@matrix01 ~]# cd Matrix-V500R002B08SP01-x86_64

[root@matrix01 Matrix-V500R002B08SP01-x86_64]# ./install.sh

Installing…

[install] -----------------------------------

[install] Matrix-V500R002B08SP01-x86_64

[install] H3Linux Release 1.1.2

[install] Linux 3.10.0-957.21.3.el7.x86_64

[install] -----------------------------------

[install] WARNING: To avoid unknow error, do not interrupt this installation procedure.

[install] Checking environment...

[install] Done.

[install] Checking current user permissions...

[install] Done.

[install] Decompressing matrix package...

[install] Done.

[install] Installing dependent software...

[install]  Installed: jq-1.6

[install] Done.

[install] Starting matrix service...

[install] Done.

Complete!

 

说明

Installer平台所有节点使用一个安装包进行安装,在配置页面进行配置时再区分Master节点与Worker节点。

 

(2)     验证节点是否安装成功。若安装成功,则将在Active字段后显示运行信息为active(running)。

[root@matrix01 ~]# systemctl status matrix

● matrix.service - Matrix Server

   Loaded: loaded (/usr/lib/systemd/system/matrix.service; enabled; vendor preset: disabled)

   Active: active (running) since 二 2018-11-06 18:25:48 CST; 2h 53min ago

 Main PID: 1026 (karaf)

    Tasks: 82

   Memory: 145.9M

…略…

 


 

7 HugePages配置(可选)

部署云数据中心场景时,如需同时部署vBGP组件,需要开启并配置HugePages;如需同时部署SeerAnalyzer,则不允许开启HugePages。

开启和关闭HugePages都需要重启服务器才能生效,请根据实际情况选择SeerAnalyzer和vBGP组件的安装顺序。服务器上默认未开启HugePages。

7.1  开启HugePages

需要在每个节点服务器上执行脚本配置HugePages(大页),配置完后需重启系统使配置生效。

注意

在使用H3C CAS管理的虚拟机上部署统一数字底盘时,下发HugePages配置前,需要在CAS上开启主机和虚拟机的大页功能并将虚拟机的CPU工作模式配置为直通模式。

 

配置过程如下:

(1)     执行hugepage.sh脚本。脚本执行过程中支持设置HugePages的内存大小和页数,配置完成后,根据提示重启服务器,使配置生效,如图7-1所示。

图7-1 执行hugepage.sh脚本

 

(2)     验证HugePages是否配置成功。若配置成功,则将按照实际配置显示配置结果。

[root@node1 ~]# cat /proc/cmdline

BOOT_IMAGE=/vmlinuz-3.10.0-957.27.2.el7.x86_64 root=UUID=c905d916-4d57-4cf2-8084-f0374da63370 ro crashkernel=auto rhgb quiet default_hugepagesz=1G hugepagesz=1G hugepages=8

7.2  关闭HugePages

需要在每个节点服务器上关闭HugePages,配置完后需重启系统使配置生效。

(1)     通过vi编辑器打开HugePages配置文件。

[root@node1 ~]# vi /etc/default/grub

(2)     按[i]键进入编辑模式,删除灰显字段“default_hugepagesz=1G hugepagesz=1G hugepages=8”。修改完成后,按[ESC]键退出编辑模式,再输入:wq,按回车,保存HugePages配置文件并退出vi编辑器。

GRUB_TIMEOUT=5

GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"

GRUB_DEFAULT=saved

GRUB_DISABLE_SUBMENU=true

GRUB_TERMINAL_OUTPUT="console"

GRUB_CMDLINE_LINUX="crashkernel=auto rhgb quiet default_hugepagesz=1G hugepagesz=1G hugepages=8"

GRUB_DISABLE_RECOVERY="true"

(3)     使配置生效并重启节点服务器。

提示

若无法确认系统是以UEFI模式还是Legacy模式启动,可将两种模式的命令都执行完成之后再重启。

 

a.     若系统以UEFI模式启动,请使用如下方式保存配置并重启。

[root@node1 ~]# grub2-mkconfig -o /boot/efi/EFI/centos/grub.cfg

Generating grub configuration file ...

Found linux image: /boot/vmlinuz-3.10.0-862.el7.x86_64

Found initrd image: /boot/initramfs-3.10.0-862.el7.x86_64.img

Found linux image: /boot/vmlinuz-0-rescue-f2e062c5077847ae837b2f1cdb91104f

Found initrd image: /boot/initramfs-0-rescue-f2e062c5077847ae837b2f1cdb91104f.img

Done

[root@node1 ~]# reboot

b.     若系统以Legacy模式启动,请使用如下方式保存配置并重启。

[root@node1 ~]# grub2-mkconfig -o /boot/grub2/grub.cfg

Generating grub configuration file ...

Found linux image: /boot/vmlinuz-3.10.0-862.el7.x86_64

Found initrd image: /boot/initramfs-3.10.0-862.el7.x86_64.img

Found linux image: /boot/vmlinuz-0-rescue-f2e062c5077847ae837b2f1cdb91104f

Found initrd image: /boot/initramfs-0-rescue-f2e062c5077847ae837b2f1cdb91104f.img

Done

[root@node1 ~]# reboot

(4)     验证HugePages是否关闭成功。若关闭成功,则显示如下内容。

[root@node1 ~]# cat /proc/cmdline

BOOT_IMAGE=/vmlinuz-3.10.0-957.27.2.el7.x86_64 root=UUID=c905d916-4d57-4cf2-8084-f0374da63370 ro crashkernel=auto rhgb quiet

8 安装统一数字底盘

注意

对于使用内置NTP服务器的场景,在部署集群之前,需确保所有节点的系统时间和当前时间保持一致。对于使用外置NTP服务器作为时钟同步源的场景,则无需修改节点的系统时间。如果NTP服务器不通,或者外置NTP服务器故障时,集群是不能正常部署的。

查看及修改节点系统时间的命令如下:

·     查看系统时间:date

·     修改系统时间的年月日:date -s yyyy-mm-dd

·     修改系统时间的时分秒:date -s hh:mm:ss

 

8.1  登录Installer平台

说明

可在Installer平台上进行如下操作:

·     上传、删除统一数字底盘应用安装包。

·     部署、升级、扩容、卸载统一数字底盘应用。

·     升级、重建集群节点。

·     增加、删除Worker节点。

在Installer平台上进行操作时,请勿同时在统一数字底盘上进行如下操作:

·     上传、删除组件安装包。

·     部署、升级、扩容组件。

·     增加、修改、删除网络。

 

(1)     在浏览器中输入Installer平台的登录地址,进入如图8-1所示登录页面。

a.     若使用IPv4地址,登录地址格式为:https://Installer_ip_address:8443/matrix/ui,例如:https://172.16.101.200:8443/matrix/ui。本文档后续配置均以IPv4配置为例。

b.     若使用IPv6地址,登录地址格式为:https://[Installer_ip_address]:8443/matrix/ui,例如:https://[2000::100:611]:8443/matrix/ui。

登录地址中参数含义如下:

¡     Installer_ip_address为节点IP地址。

¡     8443为缺省端口号。

说明

采用集群部署模式时,未部署集群之前,Installer_ip_address可以是任意一个节点的IP地址。

 

图8-1 Installer平台登录页面

 

 

(2)     输入用户名和密码(默认用户名为admin,密码为Pwd@12345)后,单击<登录>按钮,默认进入Installer平台的集群部署页面,如图8-2所示。

图8-2 集群部署页面

 

8.2  多网卡环境

当设备存在多块网卡的时候,可能会因网卡的顺序原因导致集群部署失败或者组件部署失败,需要通过以下配置保证环境正常部署和运行:

(1)     使用命令ifdown关掉除Installer集群使用的网卡外的其他网卡。比如eth33是非创建集群时添加节点所使用的网卡,通过以下命令关掉网卡:

[root@node01 ~]# ifdown eth33

(2)     部署Installer集群。

(3)     开启(1)中被关闭的网卡。

[root@node01 ~]# ifup eth33

(4)     登录Installer平台。点击[系统>安全>安全策略]菜单项后,单击<新增>按钮,进入新增策略页面。

(5)     在“基本设置”区域配置默认动作为“允许”。

(6)     在“规则信息”区域单击<新增>按钮,在弹出的对话框中配置如下规则:

¡     规则序号,可根据实际情况修改。

¡     源地址,为节点上除Installer节点IP所在网卡外的其他网卡IP。

¡     协议类型,默认为ALL。

¡     目标端口,默认为ANY。

¡     动作为允许。

注意

必须将所有节点上除Installer节点IP所在网卡外的其他网卡IP都加入到安全策略中。

 

(7)     配置完成后单击<应用>按钮。

8.3  配置集群参数

注意

·     当安装环境存在两张及以上网卡时,北向业务虚IP使用的网段必须和ifconfig命令查看到的第一块物理网卡的网段保持一致,否则会导致集群部署失败或Pod无法启动。

·     若节点上存在多个已配置IP地址的网卡并且网卡为UP状态,请在部署集群前使用命令ifdown关掉除集群使用的网卡外的其它网卡,否则会导致集群部署失败。集群部署完成后,必须在Installer平台页面上增加安全策略,否则会导致集群运行异常,增加安装策略方法请参见17 5. 节点中存在多个网卡配置IP地址并且网卡UP时,如何增加安全策略?。增加安全策略后可根据需求再开启已关掉的网卡。

 

部署集群节点前,需要先配置集群参数。

(1)     配置集群参数,各参数的介绍如表8-1所示。

表8-1 集群参数说明

参数

说明

集群内部虚IP

用于集群内各节点之间通信的IP地址,该地址必须在Master节点所处的网段内,集群部署完成后不可修改,请谨慎填写

北向业务虚IP

集群对外提供服务的IP地址,该地址必须在Master节点所处的网段内

Service IP地址池

用于为Service分配IP地址,不能与部署环境中的其它网段冲突。默认地址为10.96.0.0/16,一般保持默认值

容器IP地址池

用于为容器分配IP地址,不能与部署环境中的其它网段冲突。默认地址为177.177.0.0/16,一般保持默认值

集群网络模式

目前仅支持单子网模式,集群内所有节点、虚IP必须在相同网段内,否则将无法互相通信

NTP服务器

用于保证集群内各节点系统时间的一致性,支持选择内置服务器和外置服务器。选择外置服务器时,需要配置NTP服务器地址,且该地址不可与集群内各节点的IP地址冲突。

本文档使用内置服务器作为NTP服务器,则部署集群时会首先进行时间同步,集群部署完成后,三台Master节点会定时同步时间,从而保证集群内各节点的系统时间保持一致。

外置NFS共享存储

用于各节点间数据共享,此处无需配置

外置DNS服务器

用于解析K8s集群外部的域名,格式为IP:Port,部署统一数字底盘可根据实际需要配置外置DNS服务器。本文档中不配置此项。

·     容器解析域名时,集群外部的域名无法被内置DNS服务器解析,本平台将把需要解析的外部域名随机转发给一台外置DNS服务器来解析。

·     外置DNS服务器最多可以配置10个,各外置DNS服务器要求具有相同的DNS解析能力,并可以独立满足外部域名解析需求、无主备之分、无先后顺序之分。

·     建议所有的DNS服务器都能够访问根域,可使用命令行nslookup -port={port} -q=ns . {ip}查看是否可以访问。

 

(2)     单击<应用>按钮,完成集群参数的配置。

说明

Installer集群不支持IPv4和IPv6双协议栈,选定IP协议之后,使用指定版本的IP地址配置集群参数并建立集群。在集群上部署的网络和业务也仅支持指定版本的IP协议。

 

8.4  创建集群

单机部署模式下,仅需增加一个Master节点即可部署集群。集群部署模式下,需要增加三个Master节点后,再部署集群。

(1)     配置集群参数后,单击<下一步>按钮,进入创建集群页面,如图8-3所示。

图8-3 集群部署页面

 

(2)     点击Master节点区域的增加图标,弹出增加节点窗口,如图8-4所示。

图8-4 增加节点窗口

 

(3)     配置如下参数:

¡     类型:显示为“Master”,且不可修改。

¡     IP地址:规划的Master节点的IP地址。

¡     用户名:节点操作系统的用户名,当前仅支持root用户及admin用户。根据安装操作系统时实际选择的用户填写。集群中所有节点的用户名必须相同。

¡     密码:节点操作系统的用户密码。

(4)     单击<应用>按钮,完成增加Master节点操作。

(5)     若采用单机部署模式,则跳过该步骤。若采用集群部署模式,则重复步骤(2)-(4),增加其它两台Master节点。

(6)     单击<开始部署>按钮,开始部署集群,当所有节点的进度达到100%时,表示集群部署成功。

集群部署成功后,主Master节点会在节点左上角显示标记,其余未被标记的Master节点为备用Master节点。

图8-5 集群部署完成

 

集群部署完成后,配置网络和部署应用的操作可以先跳过,后期根据实际需要再进行配置。

8.5  部署统一数字底盘应用安装包

说明

统一数字底盘应用不支持HTTPS部署。

 

1. 上传应用安装包

(1)     在浏览器中输入“https://Installer_ip_address:8443/matrix/ui”,登录Installer平台。其中“Installer_ip_address必须为北向业务虚IP地址。

(2)     点击“部署”页签,在弹出的菜单中选择“应用”,进入应用列表页面。

(3)     点击“部署应用”图标,进入部署应用页面。

(4)     点击“上传”图标,在弹出窗口中上传应用安装包。

应用安装包的说明如表3-2所示,除必选安装包外,其余可选安装包请根据实际情况进行选择安装。请严格按照如下顺序上传并安装:

a.     common_PLAT_GlusterFS_2.0_<version>.zip(必选)

b.     general_PLAT_portal_2.0_<version>.zip(必选)

c.     general_PLAT_kernel_2.0_<version>.zip(必选)

说明

·     kernel-base、Dashboard和network应用是可选安装,但三者同时安装时请确保先安装kernel-base应用,network应用和Dashboard应用安装时没有先后顺序。

·     Dashboard和widget应用是可选安装,但二者同时安装时请确保先安装Dashboard应用,再安装widget应用。

·     ITOA-Syslog应用必须在SeerAnalyzer组件部署之前安装。

·     应用安装包上传成功后,会自动将安装包同步至各节点的/opt/matrix/app/install/packages/目录下。

 

2. 部署GlusterFS应用

注意

为GlusterFS应用准备的磁盘不能被格式化,否则会安装失败。若该磁盘被格式化,则可通过“wipefs -a /dev/磁盘名称”命令清空磁盘来进行修复。

 

(1)     在选择安装包页面勾选common_PLAT_GlusterFS_2.0_<version>.zip后,单击<下一步>按钮,进入选择应用页面。

(2)     默认勾选全部应用,单击<下一步>按钮,进入配置共享存储页面。

(3)     GlusterFS应用暂不支持共享存储配置,单击<下一步>按钮,进入配置数据库页面。

(4)     GlusterFS应用暂不支持数据库配置,单击<下一步>按钮,进入配置参数页面,如图8-6所示。

图8-6 配置参数页面

 

说明

通过lsblk命令查看当前磁盘分区信息,确保所选的磁盘或分区没有被挂载或使用,且容量大于200GB。若没有满足条件的磁盘或分区,则需要新建一个。具体方法请参见17 1. 如何为GlusterFS准备磁盘空间?

 

(5)     点击修改图标,修改如下参数后,单击<确定>按钮。

¡     “nodename”:参数值为节点服务器的主机名。

¡     “device”:参数值为分配给GlusterFS的磁盘名称。

-     若在空磁盘上安装GlusterFS应用,则“device”为磁盘名称。

-     若在空闲分区上安装GlusterFS应用,则“device”为分区名称。

(6)     单击<部署>按钮,开始部署GlusterFS应用,等待应用部署完成即可。

3. 部署portal应用

(1)     在选择安装包页面勾选general_PLAT_portal_2.0_<version>.zip后,单击<下一步>按钮,进入选择应用页面。

(2)     默认勾选全部应用,单击<下一步>按钮,进入配置共享存储页面。

(3)     单击<下一步>按钮,进入配置数据库页面。

(4)     单击<下一步>按钮,进入配置参数页面,可根据需要修改服务端口号。

图8-7 配置参数页面

 

说明

若要部署英文环境,将“Language”设置为“en”,“Country”设置为“US”即可。

 

(5)     单击<部署>按钮,开始部署portal应用,等待应用部署完成即可。

4. 部署kernel应用

(1)     在选择安装包页面勾选general_PLAT_kernel_2.0_<version>.zip后,单击<下一步>按钮,进入选择应用页面。

(2)     默认勾选全部应用,单击<下一步>按钮,进入配置共享存储页面。

(3)     单击<下一步>按钮,进入配置数据库页面。

(4)     单击<下一步>按钮,进入配置参数页面。

(5)     单击<部署>按钮,开始部署kernel应用,等待应用部署完成即可。

说明

如需使用HTTPS协议,请在应用和组件安装完成后,登录统一数字底盘,点击[系统>系统配置>安全配置]菜单项,进入安全配置页面,启用HTTPS协议。

 

 


9 访问统一数字底盘

(1)     在浏览器中输入统一数字底盘的登录地址“http://ip_address:30000/central”,其中“ip_address”为配置的北向业务虚IP,进入如图9-1所示登录页面。

图9-1 登录统一数字底盘

 

(2)     输入操作员名称和密码(默认用户名为admin,密码为Pwd@12345)后,单击<登录>按钮,进入统一数字底盘主页面。


10 软件注册

统一数字底盘部署完成后,需要获取License授权后才能正常使用。

10.1  在License Server安装授权

关于授权的申请和安装过程,请参见《H3C 软件产品远程授权 License使用指南》。

说明

License Server和统一数字底盘是一对一的关系,一个License Server只能被一个统一数字底盘环境使用。

 

10.2  获取License授权

在License Server上安装产品的授权后,只需在产品的License管理页面与License Server建立连接即可获取授权,操作步骤如下:

(1)     登录统一数字底盘。

(2)     点击“系统”页签,在左导航树中选择“License管理 > License信息”,进入License信息页面,如图10-1所示。

图10-1 License信息页面

 

(3)     配置如下信息:

¡     IP地址:License Server所在服务器的IP地址。

¡     端口号:默认值为5555,与License Server授权服务端口号保持一致。

¡     客户端名:License Server中配置的客户端名称。

¡     客户端密码:License Server中配置的客户端名称对应的密码。

(4)     单击<连接>按钮,与License Server建立连接,连接成功后统一数字底盘可自动获取授权信息。


11 管理统一数字底盘组件

注意

·     组件的部署、升级和卸载等操作,只能在统一数字底盘的部署管理页面进行。

·     网络的增加、修改和删除等操作,只能在统一数字底盘的部署管理页面进行。

 

统一数字底盘支持部署多种场景,每种场景需部署不同的组件,用户可根据实际需要进行选择。

11.1  部署或升级前的准备工作

11.1.1  启用网卡(可选)

(1)     若有使用多块网卡的需求,需在服务器上启用网卡。启用网卡的配置步骤如下:

a.     远程登录统一数字底盘所在服务器,在服务器上修改网卡配置文件。此处以修改网卡ens34的网卡配置文件为例。

b.     打开并编辑网卡文件。

[root@node1 /]# vi /etc/sysconfig/network-scripts/ifcfg-ens34

c.     将网卡配置文件中的BOOTPROTO和ONBOOT修改为如图11-1所示。BOOTPROTO配置为“none”表示不指定网卡的启动协议,ONBOOT配置为“yes”表示开机自动启用网卡连接。

图11-1 修改网卡配置文件

 

d.     使用以下命令重启网卡。

[root@node1 /]# ifdown ens34

[root@node1 /]# ifup ens34

e.     使用ifconfig命令查看网络信息。若网卡状态为UP则表示网卡启用成功。

11.2  部署组件

(1)     登录统一数字底盘,点击“系统”页签,在左侧导航树中选择“部署管理”菜单项,未部署任何组件时,默认进入上传安装包页面,如图11-2所示。

图11-2 上传安装包页面

 

(2)     单击<上传>按钮,将组件安装包上传到系统。上传完成后,单击<下一步>按钮,解析安装包并进入组件选择页面。

(3)     在组件选择页面,选择需要安装的组件,完成后单击<下一步>,进入参数配置页面。

组件选择页面各参数说明如下:

¡     园区网络:指定构建园区网络的控制器,实现园区网络自动化、用户接入控制和策略自动化。

¡     终端智能接入管理:提供对接入网络的终端用户进行认证和授权的功能。

¡     超级控制器:指定多个云数据中心网络的超级控制器,实现多个云数据中心的分层管理。

¡     云数据中心:指定构建云数据中心网络的控制器,实现数据中心网络自动化,动态管理虚拟网络和网络服务。部署云数据中心时,如需使用异地灾备功能,需在本页面勾选“支持异地灾备系统”选项。

¡     广域网承载:指定构建WAN承载网场景的广域网控制器,实现承载网场景的业务自动化和智能流量调度。

¡     SD-WAN:指定构建WAN分支接入场景的广域网控制器,实现分支网络场景的业务自动化和智能流量调度。

¡     跨域,跨场景编排:指定跨域业务编排器,联动多个站点控制器,通过预定的业务逻辑,实现对网络资源的整体控制。

¡     安全控制器:指定安全控制器,提供SDN网络场景下的安全业务自动化部署功能,以及各类安全业务的管理服务。

¡     VNF生命周期管理:用于对VNF资源进行生命周期管理。

¡     智能分析引擎:指定智能分析引擎,通过遥测技术收集数据,结合大数据和AI技术进行数据处理和分析,实现网络业务的智能保障和预测。

¡     统一运维:主要实现了(中央统一认证)CAS统一认证、路由配置及转发、用户LDAP认证对接和用户同步及基本权限管理功能。

¡     ITOA分析系统:ITOA基础配置组件,为ITOA各分析系统提供基础配置。

¡     公共服务:被上述多个场景共享使用的服务。包括Oasis Platform和vDHCP Server,vDHCP Server用于设备自动化上线。

(4)     在参数配置页面为组件配置指定参数,配置完成后,单击<下一步>按钮,进入网络配置页面。

目前仅SeerAnalyzer和Oasis Platform组件支持在该页面配置参数,其它组件直接单击<下一步>按钮。

(5)     在网络配置页面创建指定数量的网络和子网,配置完成后,单击<下一步>按钮,进入节点绑定页面。

(6)     在节点绑定页面根据需要选择Pod运行的节点。配置完成后,单击<下一步>按钮,进入网络绑定页面。

目前仅智能分析引擎和ITOA分析系统组件支持在该页面配置参数,其它组件直接单击<下一步>按钮。

(7)     在网络绑定页面,将网络和子网绑定到不同组件,使用子网IP地址池为组件分配IP地址。管理网络和默认网络必须绑定到相同的主机上。配置完成后,单击<下一步>按钮,进入参数确认页面。

(8)     在参数确认页面,可查看为各组件规划的网络信息。

(9)     确认无误后,单击<部署>按钮,开始部署。

(10)     部署完成后,在部署管理页面,点击组件左侧的图标,可展开组件信息,点击详情图标,可查看组件的详细信息。

图11-3 组件管理页面-展开组件信息

 

11.3  升级组件

提示

升级组件前,建议在统一数字底盘上备份组件的配置数据。备份步骤请参见12.1.1  统一数字底盘及组件备份

 

在统一数字底盘上支持对组件进行保留配置升级。升级组件可能会导致业务中断,请谨慎操作。

(1)     登录统一数字底盘,点击“系统”页签,在左侧导航树中选择“部署管理”菜单项,进入部署管理页面。

(2)     点击组件左侧的图标,展开组件信息。

(3)     点击组件对应操作列的升级图标,进入升级页面。

(4)     单击<上传>按钮,上传待升级的安装包。

(5)     选择待升级的安装包后,单击<升级>按钮,完成组件升级。

若组件升级失败,单击<回滚>按钮,可将组件回退到升级之前的版本。

11.4  卸载组件

(1)     登录统一数字底盘,点击“系统”页签,在左侧导航树中选择“部署管理”菜单项,进入部署管理页面。

(2)     勾选待卸载组件,单击<卸载>按钮,可卸载指定的组件。


12 备份恢复

主要用于备份和恢复统一数字底盘和组件的配置数据等。

说明

·     请勿在备份或恢复的过程中对产品进行配置操作。

·     进行配置恢复时,必须使用同一时间点的统一数字底盘及组件的备份文件进行恢复,待恢复的环境必须与备份环境的节点个数相同,否则可能会导致配置不一致或恢复失败。建议使用同一时间的定时备份文件进行恢复。

 

12.1  备份配置

12.1.1  统一数字底盘及组件备份

支持定时备份和手动备份两种方式,可以将备份文件保存在统一数字底盘所在的服务器、远端服务器或将备份文件下载到本地。备份文件的命名规则为:前缀名_组件名称_版本号_创建时间_备份模式(M/A.zip,其中,前缀名为用户自定义的,若不配置,则不显示。备份模式取值为M或A,分别表示手动备份或自动备份。

(1)     登录统一数字底盘,点击“系统”页签,在左侧导航树中选择“备份恢复”菜单项,进入备份恢复页面。

(2)     单击<备份参数配置>按钮,在弹出窗口中配置本地备份、远端备份或定时备份的参数。

(3)     单击<确定>按钮,保存备份参数配置。

开启定时备份功能后,统一数字底盘会定时备份统一数字底盘及其上部署的所有组件,并根据设置,将备份文件保存到指定路径。

(4)     单击<开始备份>按钮,在弹出窗口中选择备份组件后,可进行手动备份。

12.2  恢复配置

注意

使用恢复功能恢复应用环境前,请检查/opt/matrix/app/install/packages/目录下是否存在待恢复的版本的应用软件包,若不存在,请手动上传至该目录下。

 

12.2.1  统一数字底盘及组件恢复

支持上传备份文件恢复和通过备份历史列表恢复两种方式,将产品恢复到备份时的状态。

注意

·     如需同时恢复统一数字底盘和组件的配置,请先恢复统一数字底盘,再恢复组件。

·     恢复配置时,需确保当前安装的组件和上传的备份文件或备份历史中包含的组件一致,否则会出现异常。

 

(1)     登录统一数字底盘,点击“系统”页签,在左侧导航树中选择“备份恢复”菜单项,进入备份恢复页面。

(2)     可通过如下方式进行配置恢复:

¡     通过上传备份文件进行配置恢复:

a.     点击“请上传要上传的文件”图标,在弹出窗口中选择本地保存的备份文件后,单击<上传>按钮。

b.     单击<开始恢复>按钮,进行配置恢复。

¡     通过备份历史列表进行配置恢复:

a.     在备份历史列表中,点击某条备份记录对应操作列的“恢复”图标,弹出确认窗口。

b.     单击<确定>按钮,进行配置恢复。


13 集群灾备

13.1  故障设备替换

13.1.1  部署方式

集群灾备模式中,需要将集群的3个节点部署在两个不同的机柜或机房中。如图13-1所示,并预留一个用于灾备的备用节点。集群正常工作时,备用节点不需要上电工作。当集群1个节点故障,可使用备用节点快速恢复集群。

集群的3个节点正常部署并组建集群,备用节点仅安装Installer平台即可,不要加入集群。

图13-1 集群灾备

 

13.1.2  恢复前的准备工作

以集群节点分别为node1、node2和node3为例,如图13-1所示,进行集群灾备操作前,需要准备以下工作:

(1)     记录集群node1节点的主机名、网卡名称、节点IP地址、用户名及密码。

(2)     在备用节点上预装与集群节点相同版本的Installer软件,部署过程中配置节点的主机名、网卡名称、节点IP地址、用户名及密码与node1完全一致。

13.1.3  故障恢复步骤

当Installer集群中位于一个机柜或机房的1台节点出现故障时,可通过集群灾备操作恢复集群。

当node1出现故障时,使用备用节点替换node1进行灾备操作。

说明

备用节点的盘符和磁盘分区必须和node1保持一致。

 

操作步骤如下:

(1)     对备用节点进行上电操作(不接入管理网络),确认是否已安装Installer平台,如未安装,可参考章节“6 安装Installer平台(非自研系统必选)”中的步骤进行安装,安装完成后请勿配置集群。

(2)     确认备用节点的主机名、网卡名称、节点IP地址、用户名及密码与node1节点完全一致。

(3)     断开故障节点node1的网络连接,并将备用节点接入管理网络。

(4)     登录node3节点的Installer Web页面,进入“部署 > 集群 > 集群部署”页面,点击node1节点右上角的“设置”图标,在下拉菜单中选择“重建”选项,在弹出窗口中选择重建方式:

¡     方式一:单击上传与当前节点相同版本的软件包进行节点重建,并上传重建文件,单击<应用>按钮。

¡     方式二:单击使用系统中原有的节点部署文件进行重建,单击<应用>按钮。

(5)     节点重建完成后,集群即可正常工作,但当前页面仍处于紧急模式中,需退出并重新登录。建议使用北向业务虚IP重新登录Installer平台。

注意

·     节点重建完成后,备用节点将以node1的身份加入集群,原node1节点故障恢复后不能直接再次加入集群,推荐对恢复后的node1执行硬盘数据格式化后,作为新的备用节点。

·     如果两台节点出现异常,请勿在唯一正常的节点上执行重启操作,否则将无法通过此方式恢复集群。

 


14 统一数字底盘和组件扩缩容

统一数字底盘支持扩容和缩容。

注意

·     在进行扩容操作之前,请提前备份Installer平台、统一数字底盘和组件。若扩容失败,可使用备份文件对配置和数据进行恢复。

·     组件的扩缩容操作只能在统一数字底盘上进行。

 

统一数字底盘和组件扩容有以下两种情况:

·     单机部署模式扩容为集群部署模式,此种模式下,需在Installer平台上同时增加两个Master节点并与原Master节点组成三机集群,然后依次扩容统一数字底盘和组件。

·     集群模式扩容,此种模式下,一次仅可扩容一个Worker节点,需在Installer平台上先增加Worker节点,部署集群,然后扩容组件。

统一数字底盘可通过删除集群中的Worker节点进行统一数字底盘和组件的缩容。

本节仅对统一数字底盘的扩缩容方式进行说明,组件扩缩容涉及到具体产品差异,具体方法请参考各场景方案部署指导文档。

14.1  单机部署模式扩容

14.1.1  备份GFS内容

(1)     使用root用户登录节点所在服务器,进入目录“/opt/matrix/app/install/metadata/UCENTER/kernel/kernel/common/scripts”。

(2)     通过“python gfsbackup.py”命令执行gfsbackup.py脚本。

14.1.2  卸载GlusterFS应用

(1)     登录Installer平台,点击“部署”页签,在弹出的菜单中选择“应用”,进入应用列表页面。

(2)     点击Gluster应用对应操作列的删除图标,卸载GlusterFS应用。

14.1.3  扩容Installer平台

(1)     在新增的两台服务器上部署Installer平台,应使用和原Installer节点相同版本的软件包。具体方法步骤请参见6 安装Installer平台(非自研系统必选)

(2)     登录单机部署的Installer平台,点击“部署”页签,在弹出的菜单中选择“集群”,进入集群部署页面。

(3)     点击Master节点区域的增加图标,增加2个Master节点。

(4)     单击<开始部署>按钮,进行集群扩容。扩容时间较长,请耐心等待。

14.1.4  重新安装GlusterFS应用

安装GlusterFS应用的具体操作,请参见8.5  2. 部署GlusterFS应用

14.1.5  扩容统一数字底盘

(1)     使用root用户登录节点所在服务器,执行如下命令:

a.     停止Kafka与ZooKeeper运行:

kubectl delete deployment kafka-0 kafka-1 kafka-2 -n service-software

kubectl delete deployment zk-1 zk-2 zk-3 -n service-software

b.     删除残留数据:

rm -rf /var/lib/ssdata/kafka/*

rm -rf /var/lib/ssdata/zookeeper/*

c.     删除多余的yaml文件

rm -f /opt/matrix/app/install/metadata/UCENTER/kernel/kernel/common/ template-cluster/k8s-resources/k-filetransfer-dm.yaml

(2)     登录Installer平台,点击“部署”页签,在弹出的菜单中选择“应用”,进入应用列表页面。

(3)     单击<扩容应用>按钮,在弹出的扩容导航页面中,选择“UCENTER”后,单击<下一步>按钮。

(4)     “配置共享存储”与“配置数据库”页面均无操作,直接单击<下一步>按钮。

(5)     “配置参数”页面可以修改相应的参数,如无修改,直接单击<扩容>按钮,等待扩容完成即可。整个过程耗时较长,且在进度为3%时会等待较长时间。

(6)     扩容完成后,分别在3个PXC节点进行如下操作,检验PXC应用是否正常。

a.     通过“kubectl exec -it -n service-software pxc-pod-name bash”命令进入PXC节点,其中pxc-pod-name为PXC Pod的名称,可通过“kubectl get pod -n service-software |grep pxc”命令获取。

b.     通过“ps -ef”命令查看进程。

c.     连接MySQL数据库并执行如下命令:

mysql -u root -pDB-pwd@123

show databases;

use mysql;

select user from user;

若3个PXC节点中的用户数量一致,则表示PXC应用正常。

(7)     在浏览器中输入统一数字底盘的登录地址“http://ip_address:32001/swagger-ui.html”,其中“ip_address”为配置的北向业务虚IP,进入配置中心REST API接口页面,在“ConfigApi”区域的“PUT /config/{appname}”区域进行如下操作:

a.     在username文本框中输入“admin”。

b.     在password文本框中输入“iMC23”。

c.     在appName文本框中输入“common”。

d.     在Parameter content type的下拉列表中选择“application/json”。

e.     在body文本框中输入如下内容后,单击<Try it out!>按钮。

{

"groupName": "common",

"key": "env.kafka.brokers",

"value": "kafka-svc-0:9093,kafka-svc-1:9093,kafka-svc-2:9093"

}

f.     在body文本框中输入如下内容后,单击<Try it out!>按钮。

{

"groupName": "common",

"key": " env.zookeeper.host",

"value": " zk-1:2181, zk-2:2181, zk-3:2181"

}

图14-1 配置中心REST API接口页面

 

(8)     使用“kubectl get pod -n service-software|grep alarm-rs”命令,查看itom-alarm-rs的Pod名称,然后使用“kubectl delete pod itom-alarm-rs-Pod -n service-software”命令重启该Pod,其中,itom-alarm-rs-Pod为itom-alarm-rs的Pod名称。

14.1.6  恢复GFS备份

(1)     使用root用户登录节点所在服务器,进入目录“/opt/matrix/app/install/metadata/UCENTER/kernel/kernel/common/scripts”。

(2)     通过“python gfsrevocer.py”命令执行gfsrevocer.py脚本。

14.2  集群部署模式扩容

(1)     在新增的服务器上部署Installer平台,应使用和原Installer节点相同版本的软件包。具体方法步骤请参见6 安装Installer平台(非自研系统必选)

(2)     登录集群部署的Installer平台,点击“部署”页签,在弹出的菜单中选择“集群”,进入集群部署页面。

(3)     点击Worker节点区域的增加图标,增加1个Master节点。集群模式扩容每次只允许新增一个Worker节点。

(4)     单击<开始部署>按钮,进行集群扩容。扩容时间较长,请耐心等待。

14.3  集群部署模式缩容

可通过删除集群中的Worker节点进行集群缩容。

(1)     登录Installer平台,点击“部署”页签,在弹出的菜单中选择“集群”,进入集群部署页面。

(2)     点击Worker节点右上角的“设置”图标,在下拉菜单中选择“删除”选项,完成Worker节点的删除。


15 软件升级

提示

升级前,请先对Installer、统一数字底盘和组件数据进行备份,备份功能介绍请参见12 备份恢复

 

软件升级分为以下情况,请根据实际情况选择:

·     升级Installer平台。

·     升级统一数字底盘。

H3Linux操作系统、Installer平台和统一数字底盘之间存在版本配套关系,请在满足版本配套关系的条件下进行升级操作。如根据版本配套要求,需同时升级Installer平台和统一数字底盘,请先执行升级Installer平台的操作,再执行升级统一数字底盘的操作。

注意

·     集群部署模式下,对Installer平台的升级支持ISSU(In-Service Software Upgrade,不中断业务升级)方式。ISSU升级能够保证Installer平台在升级过程中业务不中断。

·     单机部署模式下Installer平台不支持ISSU升级,若需要升级,请备份Installer平台和统一数字底盘上的所有数据并导出到本地,重新安装Installer平台,安装步骤请参见6 安装Installer平台(非自研系统必选)

 

以上方式中涉及到Installer集群升级时,需要注意:

·     升级集群时,请先升级Worker节点,再升级备用Master节点,最后升级主用Master节点。

·     在升级过程中,待升级节点的业务会转移到同一集群的未禁用的Master节点下,所以同一集群的节点需要进行逐个升级,并且需要等待其中一个节点升级恢复完成后,再升级另一个节点,以避免业务中断。

15.1  升级Installer平台

集群模式和单机模式的Installer平台升级步骤有差异,请根据实际环境选择升级方式。

说明

若选择admin用户作为登录用户,并且选用后台升级方式执行命令时,需要在命令前添加sudo指令。若执行的脚本为安装或卸载脚本,需要在命令前添加sudo /bin/bash指令,否则命令执行不成功。

 

15.1.1  集群部署模式下升级Installer平台

(1)     登录Installer平台,点击页面右上角的“更多”图标,在弹出下拉菜单中选择“关于UC 2.0 Installer”选项,查看Installer平台版本。

(2)     获取Installer平台的安装包Matrix-version.zip

(3)     进行升级操作,支持如下两种方式:

¡     通过页面上传版本升级

¡     通过后台命令方式升级

说明

在升级过程中,请不要对Installer平台所在服务器进行断电或重启操作,否则将会导致Installer平台运行异常。

 

1. 上传版本升级

注意

·     升级集群时,请先升级Worker节点,再升级备用Master节点,最后升级主用Master节点。

·     在升级过程中,正在升级节点的业务会转移到同一集群未禁用的Master节点下,所以同一集群的节点需要进行逐个升级,并且需要等待其中一个节点升级恢复完成后,再升级另一个节点,以避免业务中断。

 

(1)     使用北向业务虚IP登录Installer平台的GUI界面。

(2)     点击“部署”页签,在弹出的菜单中选择“集群”,进入集群部署页面。

(3)     依次升级Worker节点和备用Master节点:

a.     点击Worker节点/备用Master节点右上角的“设置”图标,在下拉菜单中选择“升级”选项,在弹出窗口中选择“上传版本升级”。

图15-1 选择Worker节点/备用Master节点升级方式

 

b.     选择新版本的Installer软件包,并单击<上传>按钮,上传完成后单击<应用>按钮开始升级操作。

c.     节点升级完成后,节点图标底色变蓝。

(4)     升级主用Master节点:

a.     在集群部署页面,点击主用Master节点右上角的“设置”图标,在下拉菜单中选择“禁用”选项,禁用主Master节点。

b.     远程登录该主Master节点所在服务器,进入软件安装目录,执行卸载脚本操作。

[root@node1 ~]# cd /opt/matrix

[root@node1 matrix]# ./uninstall.sh

c.     卸载完成后,返回Installer平台的GUI界面。

d.     在集群部署页面,点击节点右上角的“设置”图标,在下拉菜单中选择“升级”选项,在弹出窗口中选择“上传版本升级”。

e.     选择新版本的Installer软件包,并单击<上传>按钮,上传完成后单击<应用>按钮开始升级操作。

f.     节点升级完成后,节点图标底色变蓝。

g.     点击节点右上角的“设置”图标,在下拉菜单中选择“启用”选项,启用该节点。

(5)     点击页面右上角的“更多”图标,在弹出下拉菜单中选择“关于UC 2.0 Installer”选项,查看Installer平台版本号是否更新,若已更新,则表示Installer平台升级成功。

2. 后台升级

(1)     使用北向业务虚IP登录Installer平台的GUI界面。

(2)     点击“部署”页签,在弹出的菜单中选择“集群”,进入集群部署页面。

(3)     点击待升级节点右上角的“设置”图标,在下拉菜单中选择“禁用”选项,禁用该节点。

(4)     远程登录该节点所在服务器,进入软件安装目录,执行卸载脚本操作。

[root@node1 ~]# cd /opt/matrix

[root@node1 matrix]# ./uninstall.sh

(5)     将Installer平台新版本安装包Matrix-version.zip拷贝至服务器的待安装目录下,或使用FTP等文件传输协议将安装包上传到指定目录(以路径/single-upgrade为例),并安装新版本的Installer平台安装包。下面以x86_64版本为例进行安装。

[root@matrix01 ~]# unzip Matrix-V500R002B08SP01-x86_64.zip

Archive:  Matrix-V500R002B08SP01-x86_64.zip

   creating: Matrix-V500R002B08SP01-x86_64/

   extracting: Matrix-V500R002B08SP01-x86_64/matrix.tar.xz

   inflating: Matrix-V500R002B08SP01-x86_64/install.sh

   inflating: Matrix-V500R002B08SP01-x86_64/uninstall.sh

[root@matrix01 ~]# cd Matrix-V500R002B08SP01-x86_64

[root@matrix01 ~]# ./install.sh

Installing…

[install] -----------------------------------

[install] Matrix-V500R002B08SP01-x86_64

[install] H3Linux Release 1.1.2

[install] Linux 3.10.0-957.21.3.el7.x86_64

[install] -----------------------------------

[install] WARNING: To avoid unknow error, do not interrupt this installation procedure.

[install] Checking environment...

[install] Done.

[install] Checking current user permissions...

[install] Done.

[install] Decompressing matrix package...

[install] Done.

[install] Installing dependent software...

[install]  Installed: jq-1.6

[install] Done.

[install] Starting matrix service...

[install] Done.

Complete!

(6)     通过“systemctl status matrix”命令查看节点是否安装成功。若安装成功,则将在Active字段后显示运行信息为active (running)。

图15-2 查看节点状态

 

(7)     在集群部署页面,点击已安装新版本软件的节点右上角的“设置”图标,在下拉菜单中选择“升级”选项,在弹出窗口中选择“后台升级”。

图15-3 选择节点升级方式

 

(8)     单击<应用>按钮,开始升级操作。节点升级完成后,节点图标底色变蓝。

(9)     点击节点右上角的“设置”图标,在下拉菜单中选择“启用”选项,启用该节点。

(10)     重复以上步骤,按照Worker节点、备用Master节点、主用Master节点的顺序逐个升级集群中的每个节点。

(11)     点击页面右上角的“更多”图标,在弹出下拉菜单中选择“关于UC 2.0 Installer”选项,查看Installer平台版本号是否更新,若已更新,则表示Installer平台升级成功。

15.1.2  单机部署模式下升级Installer平台

(1)     登录Installer平台,点击页面右上角的“更多”图标,在弹出下拉菜单中选择“关于UC 2.0 Installer”选项,查看Installer平台版本。

(2)     获取Installer平台的安装包Matrix-version.zip

(3)     进行升级操作,支持如下两种方式:

¡     通过页面上传版本升级

¡     通过后台命令方式升级

1. 上传版本升级

(1)     登录Installer平台,点击页面右上角的“更多”图标,在弹出下拉菜单中选择“关于UC 2.0 Installer”选项,查看Installer平台版本。

(2)     点击“部署”页签,在弹出的菜单中选择“集群”,进入集群部署页面。

(3)     在该页面选择待升级的节点,单击节点右上角的按钮,选择“升级”选项,在弹出的对话框中选择上传版本升级。

图15-4 选择节点升级方式

 

(4)     选择新版本的Installer软件包,并单击<上传>按钮上传软件包,上传完成后,单击<应用>按钮开始升级操作。

(5)     节点升级完成后,节点图标底色变蓝表示节点升级成功。

图15-5 节点升级完成

 

2. 后台升级

(1)     登录Installer平台,点击页面右上角的“更多”图标,在弹出下拉菜单中选择“关于UC 2.0 Installer”选项,查看Installer平台版本。

(2)     点击“部署”页签,在弹出的菜单中选择“集群”,进入集群部署页面。

(3)     将Installer平台新版本安装包Matrix-version.zip拷贝至服务器的待安装目录下,或使用FTP等文件传输协议将安装包上传到指定目录(以路径/root为例),并安装新版本的Installer平台安装包。下面以x86_64版本为例进行安装。

图15-6 安装新版本的Installer平台安装包

 

(4)     通过“systemctl status matrix”命令查看节点是否安装成功。若安装成功,则将在Active字段后显示运行信息为active (running)。

图15-7 查看节点状态

 

(5)     在集群部署页面,点击节点右上角的“设置”图标,在下拉菜单中选择“升级”选项,弹出节点升级窗口。

¡     选择“上传版本升级”:选择新版本的Installer软件包,并单击<上传>按钮,上传完成后单击<应用>按钮开始升级操作。

¡     选择“后台升级”:单击<应用>按钮,开始升级操作。

图15-8 选择节点升级方式

 

(6)     节点升级完成后,节点图标底色变蓝。

(7)     点击页面右上角的“更多”图标,在弹出下拉菜单中选择“关于UC 2.0 Installer”选项,查看Installer平台版本号是否更新,若已更新,则表示Installer平台升级成功。

15.2  升级统一数字底盘

统一数字底盘支持以下两种升级方式,推荐使用滚动升级:

·     先卸载后升级:通过先卸载当前版本的统一数字底盘应用,然后上传新的应用安装包重新部署即可。

·     滚动升级:通过直接部署新版本统一数字底盘应用安装包的方式完成升级。

升级过程仅会对统一数字底盘进行保留配置升级,对其上已安装的组件没有影响。如果统一数字底盘升级失败,请对其进行卸载重装。

(1)     使用北向业务虚IP登录Installer平台。

(2)     点击“部署”页签,在弹出的菜单中选择“应用”,进入应用页面。

(3)     点击“部署应用”链接,进入部署步骤页面。

(4)     将统一数字底盘应用安装包上传到系统中,上传成功后,应用软件包会在列表中显示。

(5)     部署应用软件包,具体步骤请参见8.5  部署统一数字底盘应用安装包

说明

升级时,请严格按照统一数字底盘应用安装包的安装顺序。

 


16 卸载统一数字底盘

卸载统一数字底盘时,需要按照应用安装的倒序来卸载应用。卸载单个应用的具体操作如下:

(1)     在浏览器中输入“https://ip_address:8443/matrix/ui”,登录Installer平台,其中“ip_address”为配置的北向业务虚IP。

(2)     点击“部署”页签,在弹出的菜单中选择“应用”,进入应用列表页面,如图16-1所示。

图16-1 应用列表页面

 

 

(3)     点击某应用对应操作列的删除图标,在弹出的确认窗口中单击<确定>按钮即可卸载该应用。

说明

·     若应用升级不支持ISSU(In-Service Software Upgrade,不中断业务升级),只支持先卸载再安装的升级方式,则需要先倒序卸载该应用之后部署的所有应用,待升级完成后,再按照顺序重新部署应用。

·     卸载单个组件或应用后,可能会影响其它组件或应用的使用,请谨慎卸载。

·     卸载并重新安装统一数字底盘时需要清空所有节点/var/lib/ssdata/目录下的内容。

 


17 常见问题解答

1. 如何为GlusterFS准备磁盘空间?

集群的每个节点上,均需准备GlusterFS应用所需的磁盘分区,故每个节点上均需进行如下操作,并请记录磁盘分区名称,以供后面安装时填写。

方法一:手动创建新磁盘分区

(1)     在安装操作系统的过程中预留GlusterFS需要的磁盘空间,以供后续创建磁盘分区时使用。

(2)     完成操作系统的安装后,通过fdisk命令,创建磁盘分区。

图17-1所示,以在sda磁盘上创建一个200GB空间的分区为例进行说明。

图17-1 创建磁盘分区

 

若出现“重新读取分区表失败”的提示,使用reboot命令重启节点即可。

此时,就在sda磁盘中创建了一个200GB的空闲磁盘分区/dev/sda7。

方法二:已有可用磁盘分区

如果已经创建了一个大小200GB及以上的磁盘分区,并且此磁盘分区没有被挂载或使用,则将此磁盘分区清空后,可供GlusterFS应用使用。

(1)     如图17-2所示,查看当前磁盘分区信息,可知/dev/sda7没有被挂载或使用。

图17-2 查看当前当前磁盘分区信息

 

(2)     通过执行“wipefs -a /dev/sda7”命令清空磁盘分区后,可以供GlusterFS应用使用。

方法三:使用独立磁盘

将单独的整块磁盘供GlusterFS应用使用,无需在独立磁盘中创建磁盘分区。

通过执行“wipefs -a”命令清空磁盘,以确保安装部署可以正常进行。

图17-3 清空磁盘

 

2. 如何配置网卡绑定?

网卡绑定是通过把多张网卡绑定为一个逻辑网卡,实现本地网卡的冗余、带宽扩容和负载均衡。

Linux系统中网卡共支持7种冗余模式,部署统一数字底盘时可根据实际情况进行选择(推荐使用推荐使用Mode2或Mode4,本文档以配置mode=2为例进行说明)。

·     Mode2(XOR)表示XOR Hash负载分担,需与交换机的静态聚合模式配合。

·     Mode4(802.3ad)表示支持802.3ad协议,需与交换机的动态聚合模式配合。

本文档介绍在H3Linux操作系统安装完成后,在服务器上配置网卡绑定的方法。

在三台服务器上分别执行以下配置步骤进行网卡冗余配置。

(1)     增加冗余口的配置文件

创建冗余口bond0,将网卡绑定模式配置为Mode2:

通过“vim /etc/sysconfig/network-scripts/ifcfg-bond0”命令创建聚合口bond0,并进入ifcfg-bond0的配置文件增加以下配置,参数均必选,参数取值以实际组网规划为准。

DEVICE=bond0

IPADDR=192.168.15.99

NETMASK=255.255.0.0

GATEWAY=192.168.15.1

ONBOOT=yes

BOOTPROTO=none

USERCTL=no

NM_CONTROLLED=no

BONDING_OPTS="mode=2 miimon=120"

其中,“DEVICE”需与虚拟网卡名称保持一致。“miimon”表示进行链路状态检测的时间间隔。

(2)     加载bond0接口到内核

通过“vim /etc/modprobe.d/bonding.conf”命令进入bonding配置文件,增加以下配置:

alias bond0 bonding

(3)     配置成员端口

创建目录,备份待聚合网卡的文件后对文件进行修改。将要聚合的网口分别添加到冗余口下,以网卡ens32的配置为例,通过“vim /etc/sysconfig/network-scripts/ifcfg-ens32”命令进入网卡配置文件,增加以下配置,参数均必选,参数取值以实际组网规划为准:

TYPE=Ethernet

DEVICE=ens32

BOOTPROTO=none

ONBOOT=yes

MASTER=bond0

SLAVE=yes

USERCTL=no

NM_CONTROLLED=no

其中,DEVICE需要与网卡名称保持一致,MASTER为虚拟网卡的名称。

(4)     加载bonding模块

通过“modprobe bonding”命令加载bonding模块。

(5)     重启服务

通过“service network restart”命令重启服务。如果多次修改过bond配置,可能需要重启服务器。

(6)     查看配置是否生效

¡     通过“cat /sys/class/net/bond0/bonding/mode”命令查看当前聚合模式是否生效。

图17-4 查看当前聚合模式是否生效

 

¡     通过“cat /proc/net/bonding/bond0”命令查看聚合接口信息。

图17-5 查看聚合接口信息

 

(7)     通过“vim /etc/rc.d/rc.local”,将如下配置信息加入开机自启动。

ifenslave bond0 ens32 ens33 ens34

3. 安装H3Linux时,网卡信息配置为静态IP,但安装完操作系统后,发现网卡配置失败,如何解决?

(1)     通过执行“vi /etc/sysconfig/network-scripts/ifcfg-网卡名称”命令修改网卡的配置信息,如果没有相关字段,需要手工添加,具体如下:

[root@node01 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens192

TYPE=Ethernet 

PROXY_METHOD=none

BROWSER_ONLY=no

BOOTPROTO=none                  ##此处使用静态网址,修改为none

DEFROUTE=yes                    ##默认路由,修改为yes

IPV4_FAILURE_FATAL=no

IPV6INIT=yes

IPV6_AUTOCONF=yes

IPV6_DEFROUTE=yes

IPV6_FAILURE_FATAL=no

IPV6_ADDR_GEN_MODE=stable-privacy

NAME=ens192

UUID=78961223-bc09-4a0e-87d6-90fbd56117f5

DEVICE=ens192

ONBOOT=yes                        ##开机自动连接,修改为yes

IPADDR=172.21.3.50                ##静态IP地址(若没有该字段,请添加),根据实际进行修改

PREFIX=24                         ##掩码位数(若没有该字段,请添加),根据实际进行修改

GATEWAY=172.21.3.1                ##网关地址(若没有该字段,请添加),根据实际进行修改

IPV6_PRIVACY=no

(2)     修改完成后,保存退出。

(3)     执行“systemctl restart network”命令重启网络即可。

4. 安装H3Linux时,未正确设置系统的时区,安装完操作系统后,如何配置系统时区为“亚洲/上海”时区?

图17-6所示,可通过在节点上执行“timedatectl set-timezone Asia/Shanghai”命令将系统时区修改为“亚洲/上海”。

图17-6 修改系统时区为“亚洲/上海”

 

5. 节点中存在多个网卡配置IP地址并且网卡UP时,如何增加安全策略?

(1)     登录Installer平台,点击“系统”页签,在弹出的菜单中选择“安全 > 安全策略”选项,进入安全策略页面。

(2)     单击<增加>按钮,进入增加安全策略页面。

(3)     在“基本设置”区域配置默认动作为“允许”。

(4)     在“规则信息”区域单击<增加>按钮,在弹出窗口中配置如下规则:

¡     源地址为节点上除Installer平台使用的网卡外的其它网卡IP。

¡     协议类型为TCP。

¡     目标端口必须输入为:

8101,44444,2379,2380,8088,6443,10251,10252,10250,10255,10256。

¡     动作为允许。

(5)     配置完成后单击<应用>按钮。

说明

必须将所有节点上除Installer平台使用的网卡外的其它网卡IP都加入到安全策略中。

例如节点1上除Installer平台使用的网卡外还有一个网卡的IP为1.1.1.1,节点2上除Installer平台使用的网卡外的网卡IP为2.2.2.2,节点3上除Installer平台使用的网卡外的网卡IP为3.3.3.3,则需要在安全策略的规则中增加3条规则,源地址分别为1.1.1.1、2.2.2.2、3.3.3.3,协议类型都是TCP,目标端口都是“8101,44444,2379,2380,8088,6443,10251,10252,10250,10255,10256”,动作都为允许。

 

图17-7 安全策略举例

 

(6)     开启被关掉的网卡,下面以eth33为例。

[root@node01 ~]# ifup eth33

不同款型规格的资料略有差异, 详细信息请向具体销售和400咨询。H3C保留在没有任何通知或提示的情况下对资料内容进行修改的权利!

联系我们