目  录

1 CloudOS 5.0整体介绍

1.1 平台理念

1.2 平台特点

2 部署介绍

2.1 部署模式

2.2 组网方案

2.3 运行环境

2.3.1 纯IaaS部署场景

2.3.2 纯PaaS部署场景

2.3.3 IaaS&PaaS混合部署场景

2.4 部署流程

3 准备工作

3.1 服务器准备

3.2 共享存储卷准备

3.3 IP地址准备

3.4 安装文件准备

3.4.1 ISO安装盘（必选）

3.4.2 U盘安装盘（可选）

3.4.3 系统组件包（必选）

3.4.4 IaaS安装包（可选）

3.4.5 PaaS安装包（可选）

3.5 NTP服务器准备

3.6 周边产品配套确认

4 安装CloudOS服务器

4.1 安装节点

4.2 华为服务器2488H V5/2288H V5启动安装

5 部署CloudOS平台组件和对接共享存储

5.1 部署CloudOS

5.1.1 配置向导

5.1.2 登录部署界面

5.1.3 部署节点

5.2 登录CloudOS云操作系统

5.3 对接共享存储

5.3.1 对接ONEStor RBD存储

5.3.2 对接iSCSI存储

5.3.3 对接FC存储

5.3.4 对接NFS存储

6 部署云服务与系统组件

6.1 添加共享存储卷

6.2 上传安装包

6.3 部署安装包

7 附录

7.1 双网卡绑定方法

7.1.1 介绍

7.1.2 方案举例

7.1.3 配置步骤

7.2 U盘安装部署指导

7.2.1 制作U盘启动盘

7.2.2 安装ISO

7.3 存储卷格式化操作方法

7.3.1 存储卷未被multipathd服务纳管场景

7.3.2 存储卷被multipathd服务纳管场景

7.4 交换机边缘端口开启方法

7.4.1 交换机生成树边缘端口开启方法

7.4.2 交换机聚合边缘端口开启方法

8 常见问题解答

8.1 安装类

8.1.1 出现提示信息”Are you sure you want to erase ALL data on disk XXX? (y/n)”时应该如何处理？

8.1.2 出现提示信息”WARNING，Which of the detected hard drivers do you want to be used as the installation target?”时如何处理？

8.1.3 出现提示信息”ERROR, Your disk is under 500GB in size. Installation cannot continue. Restart installation with a larger disk.”时如何处理？

8.1.4 在使用服务器控制台挂载iso方式安装CloudOS时，可能会出现由于控制台连接不稳定而造成的安装CloudOS失败，出现“There was an error running the kickstart scprit at line 410......"时如何处理？

8.2 部署类

8.2.1 部署节点前硬盘IO基准测试

8.2.2 部署节点时etcd节点选择错误

8.2.3 基础平台部署失败:SELinux is disabled on this host.

1 CloudOS 5.0整体介绍

CloudOS 5.0平台（简称CloudOS）是经过容器优化的企业级全栈云平台。CloudOS平台拥有插拔式的开放架构，提供平台服务能力以及用户应用的高扩展性；具备高性能可扩展的容器能力，提供面向云服务和用户应用的统一应用程序管理；同时，CloudOS平台使应用程序架构现代化，从而提供微服务，并借助敏捷和DevOps方式加快应用交付。

1.1  平台理念

随着客户对依托各种云服务的支持来降低应用开发以及应用管理的需求不断增强，H3C结合市场需求推出了CloudOS平台。CloudOS平台为企业提供集中应用管理能力，支持丰富的管理手段和灵活的管理策略，同时对基础设施进行精细化统筹管理，提高资源利用率，在多个层次确保应用的正常运行。

图1-1 CloudOS平台

 

1.2  平台特点

CloudOS平台将开发人员和IT运维团队统一到同一个平台，可以基于基础设施方便的构建、部署和管理应用。CloudOS能够使企业在交付应用的过程中，缩短开发周期、降低运营成本，从而取得更大收益。CloudOS平台以应用交付为中心，对底层各种类型的资源管理和调度进行了平台化的抽象，全方位支持应用构建、集成、编排、部署、运行的每一个环节，并提供一个高效、高可用的运行环境。

其中CloudOS平台具有以下特点：

·     开源标准：采用开放容器计划(OCI)/Docker格式的容器以及Kubernetes进行容器编排，同时外加其它开源技术，使客户免受特定供应商的技术或业务路线图的限制。

·     插拔式的开放架构：CloudOS平台可以按照客户的需求提供相应服务能力，按需使用客户资源。例如当客户需要我司增加提供的云服务时，只需要将新的云服务基于已部署的平台进行部署即可，降低了因产品服务能力升级带来的多种问题。当客户的某个应用想以云服务的方式提供给相应用户使用时，可以按照平台的规范对应用进行相应的变动，即可在此平台部署提供服务能力。

·     面向云服务和用户应用的统一管理：通过容器管理能力对云服务和用户应用采用一致的管理方式。

·     为应用程序架构现代化而提供的微服务：CloudOS平台为云原生、微服务应用程序和现有的传统、有状态应用提供了通用的平台。凭借应用框架、编程语言工具方面的丰富选择，客户能够更快地为创新应用建立原型。

·     借助敏捷和DevOps式方法加快应用交付：CloudOS平台为开发和运维团队提供了通用平台，以确保应用组件的一致化和标准化，消除配置错误，使新功能投入生产时实现自动化部署，并在发生故障时回滚。

2 部署介绍

CloudOS是H3C公司采用微服务架构设计和开发的一款云平台产品，部署方式为集群部署。本文档将对如何部署CloudOS产品集群模式进行详细介绍。

2.1  部署模式

部署模式如表2-1所示。

表2-1 部署模式

服务器类型	服务器数量	是否需要共享存储	支持共享存储类型	高可用
物理机	3/5/7/9	平台：不需要	-	支持
		IaaS组件包：需要	ONEStor RBD、FC、iSCSI
			NFS仅限于测试环境使用
		PaaS组件包：需要	ONEStor RBD、FC、iSCSI
			NFS仅限于测试环境使用

 

 

2.2  组网方案

CloudOS组网方案的介绍如图2-1和表2-2所述。

图2-1 组网方案

 

表2-2 组网方案介绍

部件名称	介绍
控制节点	CloudOS集群角色之一，运行CloudOS系统自身业务。 注意，部署平台组件时登录Gomatrix使用的节点，我们称之为Master节点。Master节点实际上也是控制节点，下面的章节会提到Master节点。
工作节点	CloudOS集群角色之一，承载PaaS的用户业务容器运行。
CloudOS服务器集群	由CloudOS服务器构成的集群，集群中的服务器角色包括控制节点和工作节点。 集群内至少包含3个控制节点，参与部署的控制节点数量必须为单数，推荐为3节点或5节点。部署完成后，可再添加任意数量的节点（控制节点或工作节点），此时，不再限制集群节点数量。
管理网络	用户访问和管理CloudOS时使用的网络，也是CloudOS与其他云业务组件通讯的网络。
集群网络	CloudOS服务器集群中各节点互相通讯时使用的网络。
存储网络	CloudOS连接存储设备时使用的网络。

 

 

2.3  运行环境

 

2.3.1  纯IaaS部署场景

CloudOS平台+IaaS的运行环境如下表所示，分为控制节点和裸金属独立计算节点（可选）两种。

表2-3 控制节点

配置项	最低配置要求
型号	主流服务器厂商x86服务器（参考配套发布的软硬件兼容性列表）
数量	≥ 3台，单台的配置如下所述
CPU	Intel Xeon V3系列或更新型号，总核数≥24 主频：≥ 2.0 GHz
内存	≥ 96 GB
系统盘	HDD（至少2块）：容量 ≥ 600GB 转速 ≥ 10000r/min 可选SSD
数据盘	HDD（至少2块）：容量 ≥ 100GB 且不超过1TB 转速≥ 10000r/min 供etcd使用，推荐用SSD盘
RAID卡	缓存 ≥ 1GB 支持掉电保护
网卡	≥ 4个1000 Base-T 接口 ≥ 2个10 Gbps SFP+ 接口（可选）
存储卡（可选）	IP存储	≥ 2个 10 Gbps SFP+ 接口
	FC SAN	≥ 2个 8 Gbps SFP+ FC接口
	以上IP存储与FC SAN方案二选一

 

表2-4 裸金属独立计算节点（可选）

配置项	最低配置要求
型号	主流服务器厂商x86服务器（参考配套发布的软硬件兼容性列表）。
部署模式	支持虚拟机部署，配置要求如下所述
CPU	Intel Xeon V3系列或更新型号，总核数≥16 主频：≥ 2.0 GHz
内存	≥ 64 GB
系统盘	HDD：容量 ≥ 600GB 转速 ≥ 10000r/min SSD：容量 ≥ 600GB 非NVMe接口 HDD/SSD方案二选一
RAID卡	缓存 ≥ 1GB 支持掉电保护
网卡	普通组网：≥ 2个1000 Base-T 接口（双口聚合） 多租户网络：≥ 6个1000 Base-T 接口（双口聚合） 可根据实际情况选用同样数量的万兆接口

 

2.3.2  纯PaaS部署场景

CloudOS平台+PaaS的运行环境如下表所示，分为控制节点和工作节点两种。

表2-5 控制节点

配置项	最低配置要求
型号	主流服务器厂商x86服务器（参考配套发布的软硬件兼容性列表）
数量	≥ 3台，单台的配置如下所述
CPU	Intel Xeon V3系列或更新型号，总核数≥24 主频：≥ 2.0 GHz
内存	≥ 96 GB
系统盘	HDD（至少2块）：容量 ≥ 600GB 转速 ≥ 10000r/min 可选SSD
数据盘	HDD（至少2块）：容量 ≥ 100GB 且不超过1TB 转速≥ 10000r/min 供etcd使用，推荐用SSD盘
RAID卡	缓存 ≥ 1GB 支持掉电保护
网卡	≥ 4个1000 Base-T 接口 ≥ 2个10 Gbps SFP+ 接口（可选）
存储卡（可选）	IP存储	≥ 2个 10 Gbps SFP+ 接口
	FC SAN	≥ 2个 8 Gbps SFP+ FC接口
	以上IP存储与FC SAN方案二选一

 

表2-6 工作节点

配置项	最低配置要求
型号	主流服务器厂商x86服务器（参考配套发布的软硬件兼容性列表）
部署模式	支持虚拟机部署，生产环境需物理机部署
数量	≥ 1台（高可靠性需≥ 2台）
CPU	Intel Xeon V3系列或更新型号，总核数≥16 主频：≥ 2.0 GHz
内存	≥ 32 GB
硬盘	HDD：容量 ≥ 600GB 转速 ≥ 10000r/min SSD：容量 ≥ 600GB 非NVMe接口 HDD/SSD方案二选一
RAID卡	缓存 ≥ 1GB 支持掉电保护
网卡	≥ 4个1000 Base-T 接口 ≥ 2个10 Gbps SFP+ 接口（可选）
共享存储	工作节点支持的共享存储类型和控制节点相同（包括iSCSI、FC、RBD等）。如果对接RBD存储设备，那么仅支持ONEStor产品提供的RBD存储
说明	视承载的业务资源需求而定，这里只规定最低配置要求

 

2.3.3  IaaS&PaaS混合部署场景

CloudOS平台+IaaS+PaaS的运行环境如下表所示，分为控制节点、裸金属独立计算节点（可选）和工作节点两种。

表2-7 控制节点

配置项	最低配置要求
型号	主流服务器厂商x86服务器（参考配套发布的软硬件兼容性列表）
数量	≥ 3台，单台的配置如下所述
CPU	Intel Xeon V3系列或更新型号，总核数≥32 主频：≥ 2.0 GHz
内存	≥ 128 GB
系统盘	HDD（至少2块）：容量 ≥ 600GB 转速 ≥ 10000r/min 可选SSD
数据盘	HDD（至少2块）：容量 ≥ 100GB 且不超过1TB 转速≥ 10000r/min 供etcd使用，推荐用SSD盘
RAID卡	缓存 ≥ 2 GB 支持掉电保护
网卡	≥ 4个1000 Base-T 接口 ≥ 2个10 Gbps SFP+ 接口（可选）
存储卡（可选）	IP存储：≥ 2个 10 Gbps SFP+ 接口 FC SAN：≥ 2个 8 Gbps SFP+ FC接口 以上IP存储与FC SAN方案二选一

 

表2-8 裸金属独立计算节点（可选）

配置项	最低配置要求
型号	主流服务器厂商x86服务器（参考配套发布的软硬件兼容性列表）。
部署模式	支持虚拟机部署，配置要求如下所述
CPU	Intel Xeon V3系列或更新型号，总核数≥16 主频：≥ 2.0 GHz
内存	≥ 64 GB
系统盘	HDD：容量 ≥ 600GB 转速 ≥ 10000r/min SSD：容量 ≥ 600GB 非NVMe接口 HDD/SSD方案二选一
RAID卡	缓存 ≥ 1GB 支持掉电保护
网卡	普通组网：≥ 2个1000 Base-T 接口（双口聚合） 多租户网络：≥ 6个1000 Base-T 接口（双口聚合） 可根据实际情况选用同样数量的万兆接口

 

表2-9 工作节点

配置项	最低配置要求
型号	主流服务器厂商x86服务器（参考配套发布的软硬件兼容性列表）。
部署模式	支持虚拟机部署，生产环境需物理机部署
数量	≥ 1台（高可靠性需≥ 2台）
CPU	Intel Xeon V3系列或更新型号，总核数≥16 主频：≥ 2.0 GHz
内存	≥ 32G
硬盘	HDD：容量 ≥ 600GB 转速 ≥ 10000r/min SSD：容量 ≥ 600GB 非NVMe接口 HDD/SSD方案二选一
RAID卡	缓存 ≥ 1GB 支持掉电保护
网卡	≥ 4个1000 Base-T 接口 ≥ 2个10 Gbps SFP+ 接口（可选）
共享存储	工作节点支持的共享存储类型和控制节点相同（包括iSCSI、FC、RBD等）。如果对接RBD存储设备，那么仅支持ONEStor产品提供的RBD存储
说明	视承载的业务资源需求而定，这里只规定最低配置要求

 

2.4  部署流程

CloudOS的部署流程如表2-10所述。

表2-10 部署流程说明

步骤	说明	详细配置
准备工作	完成相应的检查和确认工作，以降低部署过程中遇到问题的可能性	3 准备工作
安装CloudOS服务器	安装CloudOS服务器的节点	4 安装CloudOS服务器
部署CloudOS平台组件和对接共享存储	部署CloudOS平台组件和对接共享存储	5 部署CloudOS平台组件和对接共享存储
部署云服务和系统组件	请依次部署harbor、nexus组件，以及IaaS、PaaS等云服务组件	6 部署云服务与系统组件

3 准备工作

部署工作开始前请参考本章内容完成相应的准备工作，以免部署过程中遇到各种无法预知或控制的问题。

3.1  服务器准备

安装CloudOS前，请联系相关人员获取服务器的厂商、型号、相关配件、管理系统IP（如iLO、HDM等）等信息，并确认或检查以下内容：

·     检查服务器配置是否满足CloudOS运行环境中的最低配置要求（请参见2.3  运行环境）、确认已开启CPU超线程。在部署时添加节点的步骤里，系统会对做服务器性能做初步检查，若结果不满足要求，则可能会导致CloudOS集群部署失败。

·     确认服务器及相关配件的兼容性，参考随版本发布的《CloudOS V500R001B01 产品软硬件兼容性列表（E5137）》。

·     确认服务器上是否存在需要备份的数据，如果有请联系相关人员将数据迁移至其他设备。

·     检查服务器本地时间是否正确，如不正确请及时修改服务器本地时间，部署完成后再修改系统时间会造成部分CloudOS服务组件运行异常。

·     服务器上除了本地硬盘，是否存在其他存储介质，如插有多余的U盘或连接FC存储等，需要在安装CloudOS前去掉这些不必要的外挂存储介质。

·     安装部署开始前，请用户正确设置服务器的磁盘RAID配置，安装时必须使用完成RAID配置后的第一块盘作为系统盘。通常将系统盘配置为1个RAID，两块数据盘分别配置为RAID0。

·     请确认服务器RAID卡缓存加速模式为开启状态，开启RAID卡缓存的方式请咨询对应硬件厂商，如需使用RAID卡相应管理工具作请联系对应服务器厂商处理。

·     E-MapReduce大数据形态部署场景，需要为GlusterFS另外单独准备一块硬盘，并且保证每个CloudOS控制节点的主机必须挂载一块名为sdb的硬盘。

·     在E-MapReduce大数据形态部署场景下，如果Etcd使用独立硬盘，那么需要控制节点所使用的服务器至少有4块硬盘，即1块系统盘、1块GlusterFS硬盘（挂载后的盘符必须为/dev/sdb）、2块etcd硬盘。

3.2  共享存储卷准备

目前某些组件需要共享存储，安装CloudOS服务器集群节点前，请联系相关人员获取存储卷的类型、名称、容量等信息，并确认或检查以下内容：

·     检查存储卷的容量是否满足CloudOS运行环境中的要求（请参见2.3  运行环境），不满足要求的存储卷会造成软件运行故障。

·     确认存储卷中是否存在需要备份的数据，如果有请联系相关人员将数据迁移至其他设备。

需准备的共享存储卷和建议大小如下：

(1)     harbor：用于存储云服务自身镜像以及PaaS应用镜像，该组件的建议存储大小如下表所示：

表3-1 平台共享存储

组件名称	推荐大小	组件说明
Harbor	2T	容器镜像仓库，用于存放容器镜像文件。

 

(2)     日志中心（不推荐生产环境安装）：日志中心是系统层应用运行状况的记录与诊断。用户可以在系统界面上查询系统日志和诊断日志，而不必在后台使用命令行查询。日志中心包含系统日志、诊断日志、全文搜索与日志统计四部分：

¡     系统日志：用于记录系统软件运行时的内部故障。

¡     诊断日志：用于记录程序运行的基础日志。

¡     全文搜索：可以查询日志中心所有的日志数据。

¡     日志统计：从不同维度统计当前系统的日志量，如服务分类、日志级别、日志分类和主机。

表3-2 日志中心共享存储

组件名称	推荐大小	组件说明
elasticsearch	2T	存放日志文件。系统缺省存放近7天的日志，推荐存储大小至少为2T。

 

 

(3)     IaaS：IaaS共享存储用于存储虚拟机性能数据和镜像文件，需使用外部存储卷。IaaS各组件的建议存储大小如下表所示：

表3-3 IaaS共享存储

组件名称	推荐大小	组件说明
Ceilometer共享存储大小	500G	用于存储虚拟机的性能数据。需至少大于500G，但具体大小需根据虚拟机规模和监控数据保留时长自行判断。
Glance共享存储大小	1T	用于存储部署虚拟机所需的镜像文件。
CAS共享存储大小	500G	用于CloudOS内置CVM，非内置CVM方案该存储容量可配置为10G。
RBD计算节点共享存储大小（可选）	500G	用于缓存镜像。需要使用RBD云主机功能时，才需要此配置。根据实际需求来配置。

 

(4)     PaaS：PaaS存储用于存储应用安装包、服务网关、微服务、应用部署相关数据，需使用外部存储卷。PaaS各组件的建议存储大小如下表所示。

表3-4 PaaS共享存储

组件名称名称	推荐大小	组件说明
nexus	20G	部署PaaS自身的必要组件（微服务、服务网关）。
应用仓库存储	200G	用于存储应用仓库中的应用安装包（请根据实际业务规模选择相应大小的存储，建议最小200G）。
应用部署存储	10G	应用部署虚拟机相关数据。
技术运营	200G	用于可选组件技术运营存储相关数据（请根据实际业务规模选择相应大小的存储，建议最小200G）。

 

3.3  IP地址准备

安装CloudOS服务器单机节点前，请联系相关人员为管理节点规划IP地址等信息。管理节点需准备的IP地址信息包括：

·     管理网IP：必选，准备IP地址、掩码信息。

·     集群网IP：必选，准备IP地址、掩码信息、网关。

·     存储网IP：可选，准备IP地址、掩码信息。

·     VIP：即虚拟IP地址，必选，包括管理网VIP与集群网VIP。

表3-5 IP地址

网络	介绍
管理网络	用户访问和管理CloudOS时使用的网络，也是CloudOS与其他云业务组件（如CAS计算节点）通讯的网络。CloudOS集群部署环境下需要对管理网络配置虚IP。
集群网络	CloudOS服务器集群中各节点互相通讯时使用的网络。CloudOS集群部署环境下需要对集群网络配置虚IP。
存储网络	CloudOS连接存储设备时使用的网络。

 

 

3.4  安装文件准备

根据安装场景的不同，平台安装盘分为ISO安装盘和U盘安装盘。当服务器使用ISO挂载安装时，请使用ISO安装盘；当服务器需要使用U盘安装时，需要先利用版本ISO文件制作U盘启动盘，然后服务器插入U盘进行安装。此外，可按需获取IaaS、PaaS的安装包文件。

3.4.1  ISO安装盘（必选）

安装CloudOS服务器集群节点前，请准备好CloudOS的ISO安装盘。

安装盘的文件名为：H3C_CloudOS_PLAT-E5137.iso。

在安装前，建议参考版本发布文档校验ISO安装盘的MD5值是否一致。

3.4.2  U盘安装盘（可选）

安装CloudOS服务器集群节点前，请准备好CloudOS的U盘安装盘。U盘安装盘的制作和安装步骤参考附录7.2  U盘安装部署指导。

3.4.3  系统组件包（必选）

平台ISO安装完成后，需要为后续安装云服务准备系统组件包，包文件名为：

cloudos-harbor-E5137.zip、cloudos-nexus-E5137.zip。

3.4.4  IaaS安装包（可选）

用户需联系H3C技术支持获取相关IaaS应用安装包，用于为系统使能IaaS配套云资源。

IaaS的安装包文件为rar格式的压缩包，压缩包的文件名为：H3C_CloudOS_IaaS-E5137.rar。

在部署前，需要解压rar包获取云服务组件安装包。建议参考版本发布文档校验压缩包的MD5值是否一致。

3.4.5  PaaS安装包（可选）

PaaS的安装包文件为rar格式的压缩包，文件名为：H3C_CloudOS_PaaS-E5137.rar。在部署前，需要解压rar包获取云服务组件安装包。建议参考版本发布文档校验压缩包的MD5值是否一致。

3.5  NTP服务器准备

CloudOS缺省以Master节点的本地时间作为基准时间。集群里的所有节点通过NTP协议向Master节点进行时钟校准。

强烈推荐在CloudOS开局阶段部署NTP服务器，特别是涉及PaaS实际业务组件使用场景，否则会默认同步CloudOS主节点服务器时间，但服务器硬件时间因晶振原因必定会存在运行一段时间后时间相比正式时间存在偏差的情况，导致集群整体时间和实际时间不一致。

CloudOS支持用户指定NTP服务器的IP地址。如果用户需要使用指定的NTP服务器来提供基准时间，则现场实施人员在安装Master节点前需完成以下准备工作：

·     获取NTP服务器的IP地址。

·     保证Master节点的管理网IP地址可以和NTP服务器IP地址之间的双向通信正常。

CloudOS对接的资源池（如CAS计算节点、ONEStor存储等）时间需要与CloudOS保持一致，否则可能导致在CloudOS虚拟机界面看不到监控数据等问题。

3.6  周边产品配套确认

请提前查看随版本附带的《H3C CloudOS IaaS 部分功能点与相关配套产品信息对照表》中配套产品版本适配情况，若不配套，请和相关产品确认方案，避免对业务造成影响。如防火墙对象组列表改为分页获取功能，严格依赖于SNA、SDN产品版本适配接口，需确认相关SNA、SDN产品应升级至相应要求版本以进行适配。

 

 

4 安装CloudOS服务器

 

4.1  安装节点

(1)     引导安装

a.     挂载CloudOS 5.0安装盘后启动服务器。

b.     选择从光驱/USB引导后，进入CloudOS 5.0安装向导界面，如图4-1所示。

图4-1 CloudOS 5.0安装向导

 

c.     选择“Install H3Cloud”选项（缺省选项），按<Enter>键继续。

对于只有一块本地磁盘且磁盘上不存在用户数据的情况，按<Enter>键后直接进入“INSTALLATION SUMMARY”界面；对于有多块本地磁盘或磁盘上存在用户数据的情况，按<Enter>键后会提示并询问多种信息，相关的处理方法请参考常见问题解答。处理完成后会进入“INSTALLATION SUMMARY”界面。“INSTALLATION SUMMARY”界面包括多个配置项，如图4-2所示。其中“SOFTWARE SELECTION”配置项和“NETWORK & HOST NAME”配置项需要具体配置。

 

图4-2 安装汇总界面

 

(2)     选择节点角色

a.     单击“SOFTWARE SELECTION”配置项，选择要安装的软件包，如图4-3所示。

b.     选择“H3C CloudOS Node”软件包，单击左上角的<Done>按钮完成配置并返回“INSTALLATION SUMMARY”界面。

图4-3 软件选择界面

 

 

(3)     Host name配置

a.     单击“NETWORK & HOST NAME”配置项，弹出配置网络与主机名窗口，如图4-4所示。

图4-4 网络与主机名

 

b.     在Host name文本框中配置服务器的主机名。

 

(4)     配置管理网卡

a.     选择管理网连接的网卡，单击<Configure>按钮弹出网卡配置窗口，如图4-5所示。

 

图4-5 网卡配置

 

b.     选择“General”选项卡，选中“Automatically connect to this network when it is available”选项，如图4-6所示。

图4-6 网卡配置

 

c.     选择“IPv4 Settings”选项卡，在“Method”下拉菜单中选择“Manual”选项，单击<Add>按钮，配置IPv4地址、掩码、网关，并选中“Require IPv4 addressing for this connection to complete”选项，单击<Save>按钮保存，如图4-7所示。

 

图4-7 网卡配置

 

(5)     配置存储网卡（可选）

CloudOS支持存储业务网与管理网复用，如果存储业务网与管理网不复用，用户规划了独立的存储网络，则需要服务器加装存储网卡并进行相应网络配置，配置过程请参考上面管理网卡配置过程。

(6)     单击左上角的<Done>按钮完成网络配置，如图4-8所示。

图4-8 网卡配置完成

 

 

(7)     安装过程

a.     “SOFTWARE SELECTION”配置项、“NETWORK&HOST NAME”配置项配置完成后，界面如图4-9所示，单击<Begin Installation>按钮开始安装。

图4-9 配置完成

 

b.     安装过程如图4-10所示。

图4-10 安装过程

 

c.     安装完成，系统自动重启。重启完成后的界面如图4-11所示。

图4-11 重启完成

 

 

(8)     配置双网卡绑定（可选）

请参考7.1  双网卡绑定方法完成控制节点的网卡绑定配置。

(9)     检查NetworkManager服务状态

系统安装完成后，需要确保NetworkManager服务正常运行，否则会导致CloudOS集群部署失败。检查方法如下。

¡     执行命令systemctl status NetworkManager，如果状态不是正常运行，则执行命令systemctl enable NetworkManager和systemctl start NetworkManager，启用NetworkManager服务并使其正常运行。

图4-12 执行命令启用NetworkManager服务

 

(10)     重复本章节的步骤(1)至步骤(9)安装其他节点。

4.2  华为服务器2488H V5/2288H V5启动安装

华为服务器采用不同的启动模式时，参数的编辑方式不一样。

·     当采用UEFI启动模式，进入到选择安装方式页面后，此时需要按[e]键进入编辑模式，在开头为linuxefi 或linux 的行末尾增加参数：inst.graphical inst.xdriver=fbdev video=efifb:off video=VGA-1:1024x768-32@60me ro console=tty0，之后按ctrl+x启动安装。

 

·     当采用Legacy启动模式，进入到选择安装方式页面后，需要按[tab]键进入编辑模式，在开头为vmlinuz的行末尾增加参数：inst.graphical inst.xdriver=fbdev video=efifb:off video=VGA-1:1024x768-32@60me ro console=tty0，按回车键，启动安装。

 

5 部署CloudOS平台组件和对接共享存储

 

安装CloudOS服务器完成后，用户即可使用GoMatrix部署CloudOS节点。本章将对如何部署CloudOS节点进行详细介绍。

5.1  部署CloudOS

5.1.1  配置向导

 

表5-1 配置向导

操作	详细配置
登录部署界面	5.1.2  登录部署界面
部署节点	5.1.3  部署节点

 

5.1.2  登录部署界面

(1)     启动浏览器，在地址栏中输入http://<某一节点的管理IP>:9091打开“GoMatrix”安装部署页面，如图5-1所示。

图5-1 登录GoMatrix安装部署页面

 

 

(2)     输入缺省的用户名和密码：admin/Passw0rd@_，单击<登录>按钮进入GoMatrix首页，即部署页面，如图5-2所示。

图5-2 安装部署服务首页

 

5.1.3  部署节点

(1)     单击<部署>按钮，进入集群的基础配置页面，如图5-3所示。配置“集群网虚IP”、“管理网虚IP”、NTP服务地址和语言，并单击<下一步>按钮。要求虚服务IP地址配置相同。

¡     集群网虚IP：即CloudOS集群网络的虚服务地址，用于CloudOS集群节点之间内部通信，可不对外开放访问。

¡     管理网虚IP：即CloudOS管理网络的虚服务地址，用于登录CloudOS管理页面。

¡     NTP服务地址：缺省为主节点的管理IP地址，如果需要指定外部NTP服务器，则这里需填写外部NTP服务器地址。若不使用外部NTP，请检查主节点时间是否与北京时间一致，若不一致，请手动修改。

¡     语言：缺省语言选项为中文，若选择语言为英文，则平台搭建完成后默认告警规则的告警名称与Grafana页面将会变为英文字样。

¡     系统默认占用了三个网段作为平台集群内部使用地址，分别为10.240.0.0/12（缺省容器网段）、10.100.0.0/16（缺省K8S服务网段）、172.17.0.1/16（缺省docker网桥网段，需保证最后一个八位段非0）。若用户已有的网络与这三个地址段冲突，可以单击高级配置，对相应的网段进行修改后再单击<下一步>按钮。

图5-3 基础配置

 

图5-4 高级配置

 

(2)     在“选择部署节点”区域中，填写已完成步骤4 的CloudOS节点的集群网IP、用户名与密码，单击<添加>按钮，将节点加入集群。推荐添加节点后的数量为3或5。如图5-5所示。

图5-5 增加集群节点

 

性能判断：系统会自动判断安装环境的性能，有性能充足、性能普通、性能勉强、性能不足四种情况，每种情况可能会影响安装的结果。例如：性能充足和性能普通时，可以正常安装部署；性能勉强或性能不足时，可能导致部署时间延长或者部署失败，此时不建议继续部署，需要确认服务器硬件配置是否满足要求。服务器的硬件配置要求请参考2.3  运行环境章节。

 

(3)     etcd磁盘设置。

etcd是CloudOS集群核心组件的底层分布式数据库，保存和实时更新了CloudOS集群的诸多状态信息。

 

a.     选择主机。

图5-6 选择主机

 

b.     选择磁盘。

图5-7 选择磁盘

 

 

c.     分别对三台节点勾选并选择磁盘后，单击<下一步>。

 

(4)     进入配置信息确认页面，如图5-8所示。分别核对基础信息、节点配置信息和etcd配置信息，确认无误后单击<部署>按钮，如果有配错的地方可返回上一步重新配置。

图5-8 信息确认

 

(5)     开始部署CloudOS，如图5-9所示。

图5-9 开始部署

 

 

(6)     等待部署完成。可在节点信息页面查看部署详细信息。

图5-10 查看部署信息

 

(7)     检查组件安装情况：部署完成后，进入安装包页面，单击状态栏，勾选“安装失败”的状态进行筛选，若存在安装失败的组件，请联系H3C技术支持。

图5-11 检查组件安装情况

【下图仅供参考，请以用户实际使用版本为准。】

 

(8)     查看组件执行情况：进入部署页面，单击右上角<预装组件状态>按钮，查看各组件是否正常。若存在执行失败的脚本，请联系H3C技术支持。

(9)     若所有组件部署成功且不存在执行失败的脚本，则表示安装部署成功。

5.2  登录CloudOS云操作系统

(1)     部署完成后，启动浏览器，在浏览器的地址栏中输入CloudOS 5.0_vip_address，打开CloudOS云操作系统登录页面，如图5-12所示。

图5-12 登录CloudOS 5.0 云操作系统

 

(2)     输入用户名和密码，单击<登录>按钮，登录CloudOS 5.0 云操作系统。

 

 

5.3  对接共享存储

部署云服务和系统组件时，用户需要为harbor、nexus等组件配置共享存储。在完成平台的集群部署之后，部署云服务和系统组件之前，需要先进行相关类型存储的对接。

5.3.1  对接ONEStor RBD存储

1. 简介

块存储简称RBD（RADOS Block Device），是一种有序的字节序块，也是ONEStor提供的一种为常用的存储方式。CloudOS通过支持ONEStor RBD，为容器提供了基于块存储的存储解决方案。

 

2. 配置要求

配套软件

ONEStor版本：ONEStor-E3115P01

 

组网拓扑/示意图

ONEStor侧提供基于RBD的存储服务，CloudOS通过ONEStor client将RBD挂载到容器，为容器提供永久性存储。

 

图5-13 逻辑拓扑图

 

 

3. 在CloudOS服务器配置ONEStor集群文件

部署云服务和系统组件前配置

登录CloudOS集群主节点后台，进行如下操作步骤。

(1)     设置ONEStor服务端信息

a.     修改/opt/onestor-config/get-onestor-info.sh  脚本变量：ONEStor服务端监视器IP地址，用于登录ONEStor后台的用户名、密码。

onestor_ip=10.125.41.234

onestor_username=root

onestor_password=Admin@123stor

b.     修改onestor存储系统配置文件位置。文件在ONEStor存储系统中一般默认存放在以下路径，请在ONEStor服务器上确认是否存在。

onestor_keyring=/etc/ceph/ceph.client.admin.keyring     //ceph.client.admin.keyring文件绝对路径

onestor_conf= /etc/ceph/ceph.conf       //ceph.conf文件绝对路径

(2)     配置CloudOS主机文件。

主机文件路径：/opt/onestor-config/inventory/inventory.yml

配置模板如下：

all:
  hosts:
    node145: #CloudOS主机名，必须设置成和实际主机名称一致
        ansible_host: 10.125.30.145 #IP地址 access_ip和ip 三者保持一致
        access_ip: 10.125.30.145
        ip: 10.125.30.145
        ansible_ssh_user: root #CloudOS主机用户名
        ansible_ssh_pass: Passw0rd@_ #CloudOS主机密码
    node146:
       ansible_host: 10.125.30.146
       access_ip: 10.125.30.146
       ip: 10.125.30.146
       ansible_ssh_user: root
       ansible_ssh_pass: Passw0rd@_
    node147:
       ansible_host: 10.125.30.147
       access_ip: 10.125.30.147
       ip: 10.125.30.147
       ansible_ssh_user: root
       ansible_ssh_pass: Passw0rd@_


  children:
      onestor:
        hosts:
          node145:  #主机名称，注意后面一定要冒号
          node146:
          node147:

(3)     运行脚本start.sh。

首先请进入/opt/onestor-config/目录，再执行start.sh脚本，命令为：sh start.sh。

 

(4)     确认配置成功。

在OS某节点/etc/ceph目录下查看，如果出现以下文件，则说明安装成功。

ceph.client.admin.keyring

ceph.conf

新增节点配置

本节可以在部署完成后进行。在部署CloudOS平台组件完成后，新增节点如果需要对接ONEStor RBD存储，则登录CloudOS集群主节点后台，按照如下操作步骤，配置新增节点对接ONEStor RBD存储。

(1)     请确保OS各个节点密码相同，缺省后台root密码均为Passw0rd@_，如果没修改过root密码，可忽略此步骤。如果各节点密码不一致，则需在文件/opt/onestor-config/gen_host.sh 修改OS节点密码，如下：

os_node_password=Passw0rd@_

(2)     修改/opt/onestor-config/add-node.sh脚本：替换/opt/onestor-config/add-node.sh脚本中的“--limit node1,node2”字段。“node1,node2”为主机名，可以一次性添加多个主机，用英文逗号隔开。

例如：新增加节点的主机名为worker1，则修改为“--limit worker1”

(3)     进入/opt/onestor-config/目录，执行如下命令，worker1需替换为新增节点的主机名。

ansible worker1 -i ./inventory/inventory.yml -m ping -vvv

(4)     运行脚本：sh add-node.sh。注意，执行的时候需先进入/opt/onestor-config目录。

如果执行脚本卡在如下地方，可Ctrl + C先终止脚本执行，再执行一遍第（3）步的命令，然后再运行此脚本即可。

图5-14 执行脚本

 

(5)     确认配置成功。

在OS新增节点/etc/ceph目录下查看，如果出现以下文件，则说明配置成功。

ceph.client.admin.keyring

ceph.conf

(6)     后续新增节点需重复步骤(1)到步骤(5)完成配置。

4. 在ONEStor平台创建存储卷

登录ONEStor管理平台，在左导航树单击[块存储/卷管理]，创建平台和各云服务需要的共享存储卷。存储卷名称即为添加ceph共享存储时需要用到的image名称。创建存储卷的具体步骤请参考ONEStor用户手册。

图5-15 ONEStor创建存储卷

 

5.3.2  对接iSCSI存储

1. iSCSI存储配置

 

CloudOS的后台操作系统为CentOS 7.6，现场实施人员可使用Linux的multipath或存储设备配套的方案配置存储多路径。本文仅对使用multipath配置存储的方法进行介绍。

(1)     登录所有控制节点，查看multipath服务状态。

[root@cloudos5-9926 ~]#  systemctl status multipathd.service

● multipathd.service - Device-Mapper Multipath Device Controller

   Loaded: loaded (/usr/lib/systemd/system/multipathd.service; disabled; vendor preset: enabled)

   Active: active (running) since Thu 2020-07-23 10:21:21 CST; 14s ago

  Process: 11979 ExecStart=/sbin/multipathd (code=exited, status=0/SUCCESS)

  Process: 11976 ExecStartPre=/sbin/multipath -A (code=exited, status=0/SUCCESS)

  Process: 11971 ExecStartPre=/sbin/modprobe dm-multipath (code=exited, status=0/SUCCESS)

 Main PID: 11982 (multipathd)

   Memory: 4.0M

   CGroup: /system.slice/multipathd.service

           └─11982 /sbin/multipathd

 

Jul 23 10:21:21 cloudos5-9926 systemd[1]: Starting Device-Mapper Multipath Device Controller...

Jul 23 10:21:21 cloudos5-9926 systemd[1]: Started Device-Mapper Multipath Device Controller.

Jul 23 10:21:21 cloudos5-9926 multipathd[11982]: path checkers start up

[root@cloudos5-9926 ~]#

如果未启动，则用以下命令启动multipath服务：systemctl start multipathd.service

(2)     使用cat命令查看multipath配置文件，默认为如下内容：

[root@cloudos5-9926 ~]# cat /etc/multipath.conf

defaults {

  user_friendly_names “yes”

path_checker "tur"

  prio "const"

  path_grouping_policy "group_by_prio"

  no_path_retry 25

  max_fds "max"

  failback "immediate"

}

blacklist {

    wwid ".*"

}

blacklist_exceptions {

    property "(ID_SCSI|ID_WWN)"

}

[root@cloudos5-9926 ~]#

 

 

(3)     登录每个控制节点的操作系统，使用以下命令查看各服务器的InitiatorName（等号后面部分）并记录。用户也可以根据需要修改initiatorname.iscsi，修改完成后需要重启iscsid.service才能生效。

[root@h3cloud01 ~]# cat /etc/iscsi/initiatorname.iscsi

InitiatorName=iqn.1994-05.com.redhat:84881052e83e

(4)     在存储设备上划分存储卷，并配置服务器与存储卷的映射关系。具体的配置方法请参看存储设备的使用文档，配置时会用到服务器的InitiatorName。

(5)     存储卷映射及发现。

[root@cloudos5-9925 ~]# iscsiadm -m discovery -t sendtargets -p 172.100.1.235

172.100.1.235:3260,12 iqn.2006-08.com.huawei:oceanstor:2100c0bfc0a8d488::1020001:172.100.1.235

[root@cloudos5-9925 ~]#  iscsiadm -m node -l

Logging in to [iface: default, target: iqn.2006-08.com.huawei:oceanstor:2100c0bfc0a8d488::1020001:172.100.1.235, portal: 172.100.1.235,3260] (multiple)

Login to [iface: default, target: iqn.2006-08.com.huawei:oceanstor:2100c0bfc0a8d488::1020001:172.100.1.235, portal: 172.100.1.235,3260] successful.

[root@cloudos5-9925 ~]#

[root@cloudos5-9925 ~]# iscsiadm -m discovery -t sendtargets -p 172.99.1.235

172.99.1.235:3260,2 iqn.2006-08.com.huawei:oceanstor:2100c0bfc0a8d488::20001:172.99.1.235

[root@cloudos5-9925 ~]# iscsiadm -m node -l

Logging in to [iface: default, target: iqn.2006-08.com.huawei:oceanstor:2100c0bfc0a8d488::20001:172.99.1.235, portal: 172.99.1.235,3260] (multiple)

Login to [iface: default, target: iqn.2006-08.com.huawei:oceanstor:2100c0bfc0a8d488::20001:172.99.1.235, portal: 172.99.1.235,3260] successful.

 [root@cloudos5-9926 ~]#

(6)     查看存储连接状态，可见每个卷对应一条或多条IP路径及对应的LUN号、盘符等信息。

图5-16 查看存储连接状态

 

(7)     通过盘符查询存储卷的WWID。

图5-17 查询存储卷WWID

 

(8)     在所有控制节点上编辑multipath.conf文件，将需要启用多路径的卷WWID填写到白名单列表（blacklist_exceptions）中，如下所示。

[root@cloudos5-9926 ~]# cat /etc/multipath.conf

defaults {

   user_friendly_names “yes”

   path_checker "tur"

   prio "const"

   path_grouping_policy "group_by_prio"

   no_path_retry 25

   max_fds "max"

   failback "immediate"

}

blacklist {

    wwid ".*"

}

blacklist_exceptions {

property "(ID_SCSI|ID_WWN)"

wwid "36c0bfc0100a8d4888e0b141a00000015"

wwid "36c0bfc0100a8d4888e0b331500000017"

wwid "36c0bfc0100a8d4888e0b4e3900000060"

wwid "36c0bfc0100a8d4888e0b64e30000006a"

wwid "36c0bfc0100a8d4880d627cf700000074"

wwid "36c0bfc0100a8d4880d62923300000075"

}[root@cloudos5-9926 ~]#

(9)     重启多路径服务。

[root@cloudos5-9926 ~]# systemctl restart multipathd.service

(10)     查看multipath信息。

[root@h3cloud01 ~]# multipath -ll

mpathe (360003ff44dc75adcbe7175fce8bece20) dm-6 MSFT    ,Virtual HD     

size=50G features='1 queue_if_no_path' hwhandler='0' wp=rw

`-+- policy='round-robin 0' prio=1 status=active

  |- 3:0:0:0  sdct 8:0   active ready running

  `- 17:0:0:0  sdcw 8:220  active ready running

mpathd (360003ff44dc75adcaf5a6d7b5389d9d9) dm-2 MSFT    ,Virtual HD     

size=50G features='1 queue_if_no_path' hwhandler='0' wp=rw

`-+- policy='round-robin 0' prio=1 status=active

  |- 18:0:0:0 sdh 8:236 active ready running

  `- 4:0:0:0  sdp 8:16  active ready running

<省略部分输出>

(11)     存储卷格式化（可选）。

在确定存储卷的multipath管理的存储卷名称后，可通过相关命令对存储卷进行格式化操作。格式化操作只需要在一个节点上进行。

 

(12)     所有节点配置完成后可进行安装部署操作。

5.3.3  对接FC存储

当前CloudOS版本在使用FC存储单路径和多路径场景时，都需要用到multipath服务。

 

CloudOS的后台操作系统为CentOS 7.6，现场实施人员可使用Linux的multipath或存储设备配套的多路径方案配置存储多路径。本章节仅对使用multipath配置存储多路径的方法进行介绍。

1. 存储单路径配置

 

(1)     登录Master节点和Cluster操作系统，执行存储卷挂载操作后使用以下命令配置Linux内核加载multipath模块。

[root@h3cloud01 ~]# modprobe dm_multipath

[root@h3cloud01 ~]# modprobe dm-round-robin

(2)     用以下命令启动multipath服务。

[root@h3cloud01 ~]# systemctl start multipathd.service

(3)     存储卷映射。

登录每个控制节点的操作系统，使用以下命令查看各服务器Online状态的FC接口及其WWN并记录，其中X会根据存储网卡的规格有所不同。0x后面的是WWN，即WWN是10000090fa40a551。

[root@h3cloud01 ~]#cat /sys/class/fc_host/hostX/port_state

Online

[root@h3cloud01 ~]# cat /sys/class/fc_host/hostX/port_name

0x10000090fa40a551

在存储设备上划分存储卷，并配置服务器与存储卷的映射关系。具体的配置方法请参看存储设备的使用文档，配置时会用到服务器FC接口的WWN。

(4)     存储卷发现。

登录每个控制节点的操作系统，使用以下命令发现各存储卷。其中X会根据存储网卡的规格有所不同。

[root@h3cloud01 ~]# echo "1" > /sys/class/fc_host/hostX/issue_lip

(5)     使用以下命令查看FC存储卷的设备号。

ls –l /dev/disk/by-path

图5-18 查看设备号

 

 

(6)     使用以下命令通过设备号获取存储卷的WWID，并记录。

/lib/udev/scsi_id  -g  -u /dev/[设备号]

图5-19 获取WWID

 

(7)     将WWID和别名写入wwids文件，请按照如下格式写入。

图5-20 写入wwids文件

 

(8)     将WWID和别名写入bindings文件。

图5-21 写入bindings文件

 

(9)     在所有控制节点上编辑multipath.conf文件，将需要启用多路径的卷WWID填写到指定位置。

[root@cloudos5-9926 ~]# cat /etc/multipath.conf

blacklist {

    wwid ".*"

}

blacklist_exceptions {

property "(ID_SCSI|ID_WWN)"

wwid "36c0bfc0100a8d4888e0b141a00000015"

wwid "36c0bfc0100a8d4888e0b331500000017"

wwid "36c0bfc0100a8d4888e0b4e3900000060"

wwid "36c0bfc0100a8d4888e0b64e30000006a"

wwid "36c0bfc0100a8d4880d627cf700000074"

wwid "36c0bfc0100a8d4880d62923300000075"

}

defaults {

   user_friendly_names “yes”

path_checker "tur"

   prio "const"

   path_grouping_policy "group_by_prio"

   no_path_retry 25

   max_fds "max"

   failback "immediate"

}

 [root@cloudos5-9926 ~]#

(10)     重启多路径服务。

[root@cloudos5-9926 ~]# systemctl restart multipathd.service

(11)     使用以下命令刷新multipath卷的相关信息。

图5-22 执行multipath -r

 

(12)     查看存储卷的多路径名称（自动分配）、盘符并找到盘符对应的lun号，再和存储侧的卷lun号比对，这样就可以找到存储卷对应的多路径名称，从而在部署时根据卷的用途进行选择。

比如，下面查到第一个卷的多路径名称是mpathe，对应的路径有两条，盘符分别sda。

[root@h3cloud01 ~]# multipath -ll

mpathe (360003ff44dc75adcbe7175fce8bece20) dm-6 MSFT    ,Virtual HD     

size=50G features='1 queue_if_no_path' hwhandler='0' wp=rw

`-+- policy='round-robin 0' prio=1 status=active

  |- 3:0:0:0  sda 8:0   active ready running

mpathd (360003ff44dc75adcaf5a6d7b5389d9d9) dm-2 MSFT    ,Virtual HD     

size=50G features='1 queue_if_no_path' hwhandler='0' wp=rw

`-+- policy='round-robin 0' prio=1 status=active

  |- 18:0:0:0 sdb 8:236 active ready running

<省略部分输出>

再通过ll /dev/disk/by-path | grep sda命令找到其lun号，lun号为0。即mpathe对应的存储卷为lun-0。然后在存储侧创建的卷里找到lun-0的卷，下面的部署步骤里就根据找到的对应关系选择存储卷的多路径名称。

(13)     存储卷格式化（可选）。

在确定存储卷的多路径名称后，可通过如下命令对存储卷进行格式化操作。格式化操作只需要在一个节点上进行。

 

(14)     所有节点配置完成后可进行安装部署操作。

2. 存储多路径配置

(1)     登录Master节点和Cluster操作系统，执行存储卷挂载操作后使用以下命令配置Linux内核加载multipath模块。

[root@h3cloud01 ~]# modprobe dm_multipath

[root@h3cloud01 ~]# modprobe dm-round-robin

(2)     使用vi命令编辑multipath配置文件，为如下内容。

[root@cloudos5-9926 ~]# cat /etc/multipath.conf

blacklist {

    wwid ".*"

}

blacklist_exceptions {

    property "(ID_SCSI|ID_WWN)"

}

defaults {

  user_friendly_names “yes”

  path_checker "tur"

  prio "const"

  path_grouping_policy "group_by_prio"

  no_path_retry 25

  max_fds "max"

  failback "immediate"

}

 [root@cloudos5-9926 ~]#

(3)     用以下命令启动multipath服务。

[root@h3cloud01 ~]# systemctl start multipathd.service

(4)     查看多路径服务状态。

[root@cloudos5-9926 ~]#  systemctl status multipathd.service

● multipathd.service - Device-Mapper Multipath Device Controller

   Loaded: loaded (/usr/lib/systemd/system/multipathd.service; disabled; vendor preset: enabled)

   Active: active (running) since Thu 2020-07-23 10:21:21 CST; 14s ago

  Process: 11979 ExecStart=/sbin/multipathd (code=exited, status=0/SUCCESS)

  Process: 11976 ExecStartPre=/sbin/multipath -A (code=exited, status=0/SUCCESS)

  Process: 11971 ExecStartPre=/sbin/modprobe dm-multipath (code=exited, status=0/SUCCESS)

 Main PID: 11982 (multipathd)

   Memory: 4.0M

   CGroup: /system.slice/multipathd.service

           └─11982 /sbin/multipathd

 

Jul 23 10:21:21 cloudos5-9926 systemd[1]: Starting Device-Mapper Multipath Device Controller...

Jul 23 10:21:21 cloudos5-9926 systemd[1]: Started Device-Mapper Multipath Device Controller.

Jul 23 10:21:21 cloudos5-9926 multipathd[11982]: path checkers start up

[root@cloudos5-9926 ~]#

 

(5)     存储卷映射。

登录每个控制节点的操作系统，使用以下命令查看各服务器Online状态的FC接口及其WWN并记录，其中X会根据存储网卡的规格有所不同。0x后面的是WWN，即WWN是10000090fa40a551。

[root@h3cloud01 ~]#cat /sys/class/fc_host/hostX/port_state

Online

[root@h3cloud01 ~]# cat /sys/class/fc_host/hostX/port_name

0x10000090fa40a551

在存储设备上划分存储卷，并配置服务器与存储卷的映射关系。具体的配置方法请参看存储设备的使用文档，配置时会用到服务器FC接口的WWN。

(6)     存储卷发现。

登录每个控制节点的操作系统，使用以下命令发现各存储卷。其中X会根据存储网卡的规格有所不同。如果服务器的HBA卡有多个端口连接了存储，即有多个host处于Online状态，那么这里需要对每个host执行相同的echo命令。

[root@h3cloud01 ~]# echo "1" > /sys/class/fc_host/hostX/issue_lip

(7)     查看存储连接状态，可见多条FC路径发现的卷及对应的LUN号、盘符等信息。

执行如下命令查看。

[root@h3cloud01 ~]# ll /dev/disk/by-path

如下截图仅供参考。

图5-23 查看存储连接状态

 

(8)     通过盘符信息，查询存储卷的WWID。

图5-24 查询存储卷的WWID

 

(9)     在所有控制节点上编辑multipath.conf文件，将需要启用多路径的卷WWID填写到指定位置。

[root@cloudos5-9926 ~]# cat /etc/multipath.conf

blacklist {

    wwid ".*"

}

blacklist_exceptions {

property "(ID_SCSI|ID_WWN)"

wwid "36c0bfc0100a8d4888e0b141a00000015"

wwid "36c0bfc0100a8d4888e0b331500000017"

wwid "36c0bfc0100a8d4888e0b4e3900000060"

wwid "36c0bfc0100a8d4888e0b64e30000006a"

wwid "36c0bfc0100a8d4880d627cf700000074"

wwid "36c0bfc0100a8d4880d62923300000075"

}

defaults {

   user_friendly_names “yes”

path_checker "tur"

   prio "const"

   path_grouping_policy "group_by_prio"

   no_path_retry 25

   max_fds "max"

   failback "immediate"

}

[root@cloudos5-9926 ~]#

(10)     重启多路径服务。

[root@cloudos5-9926 ~]# systemctl restart multipathd.service

(11)     查看多路径生效情况：查看存储卷的多路径名称（自动分配）、盘符并找到盘符对应的lun号，再和存储侧的卷lun号比对，这样就可以找到存储卷对应的多路径名称，从而在部署时根据卷的用途进行选择。

比如，下面查到第一个卷的多路径名称是mpathe，对应的路径有两条，盘符分别是sdct和sdcw。

[root@h3cloud01 ~]# multipath -ll

mpathe (360003ff44dc75adcbe7175fce8bece20) dm-6 MSFT    ,Virtual HD     

size=50G features='1 queue_if_no_path' hwhandler='0' wp=rw

`-+- policy='round-robin 0' prio=1 status=active

  |- 3:0:0:0  sdct 8:0   active ready running

  `- 17:0:0:0  sdcw 8:220  active ready running

mpathd (360003ff44dc75adcaf5a6d7b5389d9d9) dm-2 MSFT    ,Virtual HD     

size=50G features='1 queue_if_no_path' hwhandler='0' wp=rw

`-+- policy='round-robin 0' prio=1 status=active

  |- 18:0:0:0 sdh 8:236 active ready running

  `- 4:0:0:0  sdp 8:16  active ready running

<省略部分输出>

再通过ll /dev/disk/by-path | grep sdct命令找到其lun号，lun号为0。即mpathe对应的存储卷为lun-0。然后在存储侧创建的卷里找到lun-0的卷，下面的部署步骤里就根据找到的对应关系选择存储卷的多路径名称。

(12)     存储卷格式化（可选）。

在确定存储卷的多路径名称后，可通过如下命令对存储卷进行格式化操作。格式化操作只需要在一个节点上执行。

 

(13)     所有节点配置完成后可进行安装部署操作。

5.3.4  对接NFS存储

当前版本NFS存储仅限测试场景使用，暂不推荐在生产环境中使用NFS共享存储。

对接操作如下：

在NFS服务器端配置/etc/exports文件，添加映射目录和CloudOS节点存储网段的对应关系。

vim /etc/exports

追加：/home/harbor 172.25.16.1/22(rw,sync,no_root_squash)

解释：将/home/harbor目录共享给172.25.16.1/22网段的所有用户，读写权限，同步（sync）/异步（async），no_root_squash：nfs客户端共享目录使用者权限。

重启nfs服务（每次修改完配置文件也需要重启才能生效）。

systemctl restart nfs

 

6 部署云服务与系统组件

云服务与系统组件服务使管理员能够创建并管理本操作系统中的可执行应用程序。通过管理这些可执行应用程序，您可以像管理服务目录一样更自由的决定对外提供的云服务。

CloudOS平台软件安装部署完成后，默认存在登录用户admin且具有系统管理员最高管理权限。系统管理员需首先上传部署相关安装包，如harbor、nexus、logcenter、IaaS、PaaS，为系统使能所需云服务。IaaS、PaaS安装包准备请参见3.4.4  IaaS安装包（可选）、3.4.5  PaaS安装包（可选）。

6.1  添加共享存储卷

部署harbor、nexus、logcenter、IaaS和PaaS都需要使用外部存储卷，存储的的准备工作请参见3.2  共享存储卷准备。

(1)     在顶部导航栏中单击[资源]菜单项，进入系统管理页面。

(2)     单击左侧导航栏树[容器]菜单项，单击Default集群名称链接，在集群详情右侧区域选择[存储]页签，进入存储管理页面。

¡     选择“NFS”、“iSCSI”、“FC”或“ceph”，单击<添加存储卷>按钮，配置以下参数，单击<确定>按钮。

表6-1 存储卷参数

存储卷类型	参数	说明
NFS	IP	已在后台挂载的NFS存储卷的服务器地址。
	路径	NFS存储卷在CloudOS集群中的链接。
	容量	可分配使用的容量大小。
	访问模式	PV访问节点的方式，界面有“单节点读写”和“多节点读写”选项，部署系统自带的云服务和系统组件，仅支持单节点读写，表示PV能以read-write模式mount到单个节点。
	回收策略	支持保留，表示在删除PV后仍保留该PV中的数据。
iSCSI	目标路径	iSCSI存储卷在CloudOS集群中的链接。
	IP地址	已在后台挂载的iSCSI存储卷的服务器地址。iSCSI多路径场景，需填写多个存储IP(以逗号隔开)。
	存储信息	单击“获取存储信息”图标，如IP地址配置正确，即自动识别出iSCSI存储卷资源，选择存储卷。
	是否格式化	缺省不勾选。这里需要注意的是，如果存储卷容量太大（1T以上）导致格式化操作耗时过长，则请在后台进行操作，具体操作方法请参考7.3  存储卷格式化操作方法章节。
FC	存储信息	存储卷的基本信息，包括存储卷的别名、容量、存储服务器信息、LUN号和WWN号。在后台完成相关配置后，CloudOS会自动识别已经配置好的存储卷并展示其基本信息，供用户选择并添加。
ceph	容量	可分配使用的容量大小。
	访问方式	PV访问节点的方式，仅支持单节点读写。单节点读写表示PV能以read-write模式mount到单个节点。
	回收策略	保留：表示在删除PV后仍保留该PV中的数据。
	监听器/存储池/image名称/User ID/keyring	参考部署平台时的配置，需要注意的是keyring，这里的填写和部署平台时不同，这里需要填写key值。举例如下： 执行命令cat /etc/ceph/ceph.client.admin.keyring查看key值。 [client.admin]         key = AQA++oJeqAdBFhAAegoFMusqCYCq1mylc35gBA== keyring就填写“AQA++oJeqAdBFhAAegoFMusqCYCq1mylc35gBA==”。
标签		用于为存储卷配置标签，可选。

 

图6-1 iSCSI配置图示

 

图6-2 FC配置图示

 

图6-3 ceph配置图示

 

(3)     单击<确定>按钮，完成存储卷添加。

6.2  上传安装包

 

(1)     在顶部导航栏中单击[系统]菜单项。

(2)     在左侧导航树单击[服务与组件]菜单项，在点击[部署向导]子菜单，进入部署向导页面。

(3)     按照屏幕上方提供的安装包上传地址，使用ftp工具上传安装包到该目录，然后点击刷新列表可查看安装包信息。

图6-4 部署向导

 

6.3  部署安装包

 

(1)     在部署向导页面，勾选要部署的安装包，在高级设值中选择已准备好的共享存储，再确认版本和部署区域等参数是否正确。

图6-5 部署安装包

【下图仅供参考，请以用户实际使用版本为准。】

 

(2)     单击<立即部署>按钮，进入部署确认页面，选择确认后开始部署。

(3)     单击[云服务]页签，可查看部署中的服务，服务状态为“部署中”，部署完成的服务，服务状态为“启用”。

图6-6 部署完成

【下图仅供参考，请以用户实际使用版本为准。】

 

7 附录

7.1  双网卡绑定方法

用户可使用Linux的网卡绑定命令进行网卡绑定操作。

 

7.1.1  介绍

链路聚合通过将多条以太网物理链路捆绑在一起形成一条以太网逻辑链路，实现增加链路带宽的目的，同时这些捆绑在一起的链路通过相互动态备份，可以有效地提高链路的可靠性。CloudOS集群中管理、集群、存储网络都可以使用链路聚合。

图7-1 组网方案

 

7.1.2  方案举例

以CloudOS管理网络聚合举例：

图7-2 管理网络聚合

 

上图中控制节点和管理网交换机有两条物理链路，对应的网口分别是eno1和eno2。把两条物理链路聚合成一条逻辑链路作为管理网链路。

CloudOS集群中管理、集群、存储网络都可以使用链路聚合。CloudOS支持的链路聚合模式为mode0和mode4，可任选其一。

·     Mode=0(balance-rr)表示负载分担round-robin，和交换机的聚合强制不协商的方式配合。

·     Mode=4(802.3ad)表示支持802.3ad协议，和交换机的聚合LACP方式配合（需要xmit_hash_policy）。

7.1.3  配置步骤

1. 配置控制节点端

(1)     通过命令nmcli connection add type bond ifname bond0 mode 0，创建一个逻辑网口，聚合类型为bond，聚合口名称为bond0，模式为0，完成后，系统会提示成功。

 

(2)     输入如下两条命令，将真实网卡eno1和eno2作为成员口添加到聚合口bond0，完成后，系统会提示成功。eno1和eno2需根据实际网卡名称进行替换。

nmcli connection add type bond-slave ifname eno1 master bond0

nmcli connection add type bond-slave ifname eno2 master bond0

 

(3)     通过命令service network restart重启网络。由于聚合口创建后默认是动态获取IP地址，输入命令ip a查看聚合口，此时接口状态转为up，且获取到了IP地址。

(4)     进入/etc/sysconfig/network-scripts路径，找到bond0对应的配置文件ifcfg-bond-bond0，如下。

图7-3 查找bond0配置文件

 

(5)     通过vi对其进行修改，根据现网情况为聚合口配置一个静态IP地址和缺省网关地址。配置完成后的ifcfg-bond-bond0举例如下。

ONDING_OPTS=mode=balance-rr

TYPE=Bond

BONDING_MASTER=yes

PROXY_METHOD=none

BROWSER_ONLY=no

BOOTPROTO=none

DEFROUTE=yes

IPV4_FAILURE_FATAL=no

IPV6INIT=yes

IPV6_AUTOCONF=yes

IPV6_DEFROUTE=yes

IPV6_FAILURE_FATAL=no

IPV6_ADDR_GEN_MODE=stable-privacy

NAME=bond-bond0

UUID=8e876233-a8d9-4fa3-ba87-4161e88e6810

DEVICE=bond0

IPADDR=172.16.150.234

PREFIX=16

GATEWAY=172.16.202.254

ONBOOT=yes

(6)     删除被绑定的物理网卡的原始网络配置文件，比如网卡为eno1和eno2，则删除原始配置文件ifcfg-eno1，ifcfg-eno2。

(7)     通过命令service network restart重启网络。

(8)     通过命令nmcli device status查看聚合接口bond0状态，状态为connected表示正常。服务器端配置完成。

[root@node-202 ~]# nmcli device status

DEVICE          TYPE         STATE         CONNECTION     

bond0           bond         connected     bond-bond0

2. 配置交换机端

(1)     创建一个二层聚合接口，二层聚合接口模式是静态聚合，根据现网规划配置管理网VLAN。

int Bridge-Aggregation 1

port access vlan xx

(2)     把物理端口加入到二层聚合接口。

interface te1

port access vlan xx

port link-mode bridge

port link-aggregation group 1

(3)     使用命令dis link-aggregaion verbose Bridge-Aggregaion 1查看二层聚合成员端口状态，状态为“S”代表选中状态，表示可用，如下图。

图7-4 端口状态

 

 

3. 重复配置

根据上述配置步骤，在控制1、控制2节点以及管理交换机上完成相关配置，控制1、控制2节点网络地址可达，聚合配置到此完成。

7.2  U盘安装部署指导

7.2.1  制作U盘启动盘

1. CloudOS安装盘准备

通过U盘安装CloudOS服务器之前，请准备好CloudOS的ISO安装盘。安装盘的文件名为：H3C-CloudOS 5.0-E5XXX.iso，其中的XXX表示具体的版本号。

2. U盘准备

CloudOS Plat产品安装盘大小一般为10G左右，U盘容量需要大于CloudOS Plat安装盘大小。

3. 制作U盘启动盘

直接linux上通过dd命令制作U盘： dd if=xxx.iso of=/dev/yyy  bs=1M

完了后sync  && sync；其中/dev/yyy是U盘的盘符。

图7-5 制作U盘启动盘

【下图仅供参考，请以用户实际使用版本为准。】

 

7.2.2  安装ISO

在物理服务器上安装ISO，服务器启动模式仅支持UEFI。UEFI是新式的BIOS。下面介绍UEFI模式下的U盘安装CloudOS的操作步骤。

服务器设置为UEFI启动的前提下，启动模式为UEFI。

(1)     将制作好的U盘插入服务器。

(2)     进入服务器BIOS，将boot order调整为第一启动项是U盘，然后重启服务器。

(3)     进入install界面，如下图。

图7-6 Install界面

 

(4)     选中Install H3Cloud，即可开始安装。

7.3  存储卷格式化操作方法

7.3.1  存储卷未被multipathd服务纳管场景

存储卷未被multipathd服务纳管的场景下，可以在后台直接通过查找/dev/disk/by-path路径下的盘符进行格式化。

举例：

ll /dev/disk/by-path查看对应存储卷盘符，比如为sdf，则输入命令mkfs.ext4 /dev/sdf即可。

图7-7 查看存储卷盘符

 

7.3.2  存储卷被multipathd服务纳管场景

存储卷被multipathd服务纳管（可使用multipath -ll命令确认存储卷是否被纳管），可以在后台通过mkfs.ext4 /dev/mapper下的对应盘符进行格式化。

如何找到多路径盘符和存储卷的对应关系？举例如下。

可先通过ll /dev/disk/by-path找到存储卷对应盘符，如sdf。

再通过multipath -ll命令找到sdf所属的多路径名称，如下，为mpathf。

图7-8 查找多路径盘符和存储卷的对应关系-1

 

则输入命令mkfs.ext4 /dev/mapper/mpathf即可。

图7-9 查找多路径盘符和存储卷的对应关系-2

 

7.4  交换机边缘端口开启方法

针对不同的使用场景，可以将交换机中连接服务器的端口配置为边缘端口。

7.4.1  交换机生成树边缘端口开启方法

交换机通常默认启动了生成树协议，需要将所有连接服务器的交换机端口配置为边缘端口，即在端口视图执行stp edged-port命令。

说明：缺省端口为非边缘端口。

命令：

stp edged-port命令用来配置端口为边缘端口。

undo stp edged-port命令用来恢复缺省情况。

视图：

二层以太网接口视图

二层聚合接口视图

二层RPR逻辑接口视图

缺省用户角色：

network-admin

mdc-admin

使用指导：

当端口直接与用户终端相连，而没有连接到其它设备或共享网段上，则该端口被认为是边缘端口。网络拓扑变化时，边缘端口不会产生临时环路。因此，如果将某个端口配置为边缘端口，则该端口可以快速迁移到转发状态。对于直接与用户终端相连的端口，为能使其快速迁移到转发状态，请将其设置为边缘端口。

由于边缘端口不与其它设备相连，所以不会收到其它设备发过来的BPDU报文。在端口没有开启BPDU保护功能时，如果端口收到BPDU报文，即使用户设置该端口为边缘端口，该端口的实际运行状态也是非边缘端口。

在同一个端口上，不允许同时配置边缘端口和环路保护功能。

二层以太网接口视图下的配置只对当前端口生效；二层聚合接口视图下的配置只对当前接口生效；聚合成员端口上的配置，只有当成员端口退出聚合组后才能生效。

举例：

将连接服务器的交换机端口GigabitEthernet1/0/1配置为边缘端口。

<Sysname> system-view

[Sysname] interface gigabitethernet 1/0/1

[Sysname-GigabitEthernet1/0/1] stp edged-port

7.4.2  交换机聚合边缘端口开启方法

缺省情况：聚合接口不是聚合边缘接口。

命令：

lacp edge-port命令用来配置聚合接口为聚合边缘接口。

undo lacp edge-port命令用来恢复缺省情况。

视图：

二层聚合接口视图

三层聚合接口视图

S通道聚合接口视图

缺省用户角色：

network-admin

mdc-admin

使用指导：

该命令主要用于在网络设备与服务器等终端设备相连的场景中。当网络设备配置了动态聚合模式，而终端设备未配置动态聚合模式时，网络设备的聚合成员端口都可以作为普通物理口转发报文，从而保证终端设备与网络设备间的多条链路可以相互备份，增加可靠性。

该配置仅在聚合接口对应的聚合组为动态聚合组时生效。

当聚合接口配置为聚合边缘接口后，聚合流量重定向功能将不能正常使用。

举例：

将交换机中的二层聚合接口1配置为聚合边缘接口。

<Sysname> System-view

[Sysname] interface bridge-aggregation 1

[Sysname-Bridge-Aggregation1] lacp edge-port

 

8 常见问题解答

8.1  安装类

8.1.1  出现提示信息”Are you sure you want to erase ALL data on disk XXX? (y/n)”时应该如何处理？

解答：出现此提示信息的原因是因为服务器的磁盘上存在数据。XXX通常为服务器的磁盘标识如sda、vda等。

确认数据可以清除后，用户可在”Are you sure you want to erase ALL data on disk XXX? (y/n)”后输入”y”。并在”Warning！ALL data will be lost！continue?（y/n）”后再次输入”y”。

此时，CloudOS会将目标磁盘格式化，格式化完成后进入图4-1c。

图8-1 目标磁盘上存在数据

 

 

图8-2 拒绝格式化磁盘

 

8.1.2  出现提示信息”WARNING，Which of the detected hard drivers do you want to be used as the installation target?”时如何处理？

出现此提示信息的原因是由于服务器的磁盘数量为多块。

·     如果服务器的磁盘数量为多块且目标磁盘上没有数据。此时，输入安装使用的目标磁盘，如vda，并按<Enter>键确认。CloudOS会将目标磁盘格式化，格式化完成后进入图4-1c。

图8-3 多块磁盘且目标磁盘上没有数据

 

·     如果服务器的磁盘数量为多块且目标磁盘上有数据。此时，输入安装使用的目标磁盘，如vda，并按<Enter>键确认。CloudOS会提示用户“Are you sure you want to erase ALL data on disk vda? (y/n)”，请参考图8-4进行处理。

图8-4 多块磁盘且目标磁盘上有数据

 

 

8.1.3  出现提示信息”ERROR, Your disk is under 500GB in size. Installation cannot continue. Restart installation with a larger disk.”时如何处理？

这是由于安装CloudOS的目标磁盘空间不足500GB导致的。根据CloudOS的要求，目标磁盘的最小空间为500GB，请选择符合要求的磁盘安装CloudOS。

图8-5 磁盘空间不足500GB

 

8.1.4  在使用服务器控制台挂载iso方式安装CloudOS时，可能会出现由于控制台连接不稳定而造成的安装CloudOS失败，出现“There was an error running the kickstart scprit at line 410......"时如何处理？

此时可尝试使用服务器控制台重新挂载iso进行安装，或者使用其他方式进行安装，比如使用U盘进行安装CloudOS。

8.2  部署类

8.2.1  部署节点前硬盘IO基准测试

在部署前，可以对两块硬盘进行IO基准测试，需要测试工具fio，工具需单独安装。

(1)     测试时进入磁盘的挂载点/var/lib/etcd和/${HOSTNAME}.etcd。

(2)     创建目录test-data。

(3)     执行如下测试命令。

fio --rw=write --ioengine=sync --fdatasync=1 --directory=test-data --size=22m --bs=2300 --name=mytest

(4)     测试结果如下，需关注fdatasync指标中的“99.00th”，这个指标的含义是99%的缓存数据一次落盘的周期都在这个值范围内。请注意，此处单位都是微秒。

fsync/fdatasync/sync_file_range:

sync (usec): min=534, max=15766, avg=1273.08, stdev=1084.70

sync percentiles (usec):

 | 1.00th=[ 553], 5.00th=[ 578], 10.00th=[ 594], 20.00th=[ 627],

 | 30.00th=[ 709], 40.00th=[ 750], 50.00th=[ 783], 60.00th=[ 1549],

 | 70.00th=[ 1729], 80.00th=[ 1991], 90.00th=[ 2180], 95.00th=[ 2278],

 | 99.00th=[ 2376], 99.50th=[ 9634], 99.90th=[15795], 99.95th=[15795],

 | 99.99th=[15795]

从实例的测试结果中我们可以得知这次测试的结果是2.376ms，而etcd官方的推荐值是10ms，由此我们可以判断磁盘性能非常优秀，而如果此结果超过了50ms，我们不推荐使用这块磁盘。

8.2.2  部署节点时etcd节点选择错误

如果在5.1.3  (3)步骤中由于操作失误，选择了错误的磁盘，需要重新配置，请按照如下步骤执行，所有控制节点都需要执行。

(1)     分别登录各控制节点的后台，执行df  -h | grep etcd，可以看到两个etcd相关的盘，例如/dev/sdb /dev/sdc

[root@d030sp01node1 ~]# df -h |grep etcd

/dev/sdb1                  100G   45M   99G   1% /d030sp01node1.etcd

/dev/sdc1                  100G   45M   99G   1% /var/lib/etcd

(2)     执行umount /dev/sdb ; umount /dev/sdc，需根据第一步的实际操作结果修改此次操作命令。

[root@d030sp01node1 ~]# umount /dev/sdb1

[root@d030sp01node1 ~]# umount /dev/sdb1

(3)     打开/etc/fstab文件，删除两个etcd相关记录的行，保存退出。

 

8.2.3  基础平台部署失败:SELinux is disabled on this host.

如果在7.2.1  制作U盘启动盘步骤中由于操作失误，或者U盘异常等问题，需要重新制作系统的U盘启动盘，请按照7.2章节内容进行。