- 产品与解决方案
- 行业解决方案
- 服务
- 支持
- 合作伙伴
- 关于我们
01-正文
本章节下载： 01-正文 (7.60 MB)
绿洲应用开发平台（简称平台）是经过容器优化的企业级全栈云平台。平台拥有插拔式的开放架构，提供平台服务能力以及用户应用的高扩展性；具备高性能可扩展的容器能力，提供面向云服务和用户应用的统一应用程序管理；同时，平台使应用程序架构现代化，从而提供微服务，并借助敏捷和DevOps方式加快应用交付。
随着客户对依托各种云服务的支持来降低应用开发以及应用管理的需求不断增强，我司结合市场需求推出了绿洲应用开发平台。平台为企业提供集中应用管理能力，支持丰富的管理手段和灵活的管理策略，同时对基础设施进行精细化统筹管理，提高资源利用率，在多个层次确保应用的正常运行。
图1-1 绿洲应用开发平台
绿洲应用开发平台将开发人员和IT运维团队统一到同一个平台，可以基于基础设施方便的构建、部署和管理应用。平台能够使企业在交付应用的过程中，缩短开发周期、降低运营成本，从而取得更大收益。平台以应用交付为中心，对底层各种类型的资源管理和调度进行了平台化的抽象，全方位支持应用构建、集成、编排、部署，运行的每一个环节，并提供一个高效、高可用的运行环境。
其中绿洲应用开发平台具有以下特点：
· 开源标准：采用开放容器计划(OCI)格式的容器以及Kubernetes进行容器编排，同时外加其它开源技术，使客户免受特定供应商的技术或业务路线图的限制。
· 插拔式的开放架构：平台可以按照客户的需求提供相应服务能力，按需使用客户资源。例如当客户需要我司增加提供的云服务时，只需要将新的云服务基于已部署的平台进行部署即可，降低了因产品服务能力升级带来的多种问题。当客户的某个应用想以云服务的方式提供给相应用户使用时，可以按照平台的规范对应用进行相应的变动，即可在此平台部署提供服务能力。
· 面向云服务和用户应用的统一管理：通过容器管理能力对云服务和用户应用采用一致的管理方式。
· 为应用程序架构现代化而提供的微服务：平台为云原生、微服务应用程序和现有的传统、有状态应用提供了通用的平台。凭借应用框架、编程语言工具方面的丰富选择，客户能够更快地为创新应用建立原型。
· 借助敏捷和DevOps式方法加快应用交付：平台为开发和运维团队提供了通用平台，以确保应用组件的一致化和标准化，消除配置错误，使新功能投入生产时实现自动化部署，并在发生故障时回滚。
本手册适用于绿洲·应用开发平台。
绿洲应用开发平台是H3C公司采用微服务架构设计和开发的一款云平台产品，部署方式为集群部署。本文档将对如何部署集群模式进行详细介绍。
部署模式如表2-1所示。
|
服务器类型 |
模式 |
服务器数量 |
高可用 |
|
物理机 |
集群 |
3 |
支持 |
|
单机 |
1 |
不支持 |
|
|
虚拟机 |
集群 |
3 |
支持 |
|
单机 |
1 |
不支持 |
· 绿洲应用开发平台集群控制节点建议使用物理机部署。
· 绿洲应用开发平台支持集群和单机两种部署形式，建议集群部署。
· 绿洲应用开发平台服务器集群允许的最大故障控制节点数量为（控制节点服务器数量-1）/2。
· 对于FC存储，仅支持标准FC SAN网络，不支持FCoE。
|
部件名称 |
介绍 |
|
控制节点 |
控制节点，绿洲应用开发平台集群角色之一，运行平台系统自身业务。 注意，部署平台组件时登录Gomatrix使用的节点，我们称之为Master节点。Master节点实际上也是控制节点，下面的章节会提到Master节点。 |
|
工作节点 |
工作节点，平台集群角色之一，承载PaaS的用户业务容器运行。 |
|
绿洲应用开发平台集群 |
由绿洲应用开发平台集群中的服务器角色包括控制节点和工作节点。 集群内至少包含1个控制节点，参与部署的控制节点数量必须为单数，推荐为3节点。部署完成后，可再添加任意数量的工作节点，此时，不再限制集群节点数量。 |
|
管理网络 |
用户访问和管理平台时使用网络，也是绿洲应用开发平台与其他云业务组件通讯的网络。 |
|
集群网络 |
平台服务器集群中各节点互相通讯时使用的网络。 |
|
存储网络 |
平台连接外部存储设备时使用的网络，不使用外部存储时可不配置。 |
· 控制节点参与集群部署，工作节点不参与集群部署。即在初次部署时，添加集群节点，仅添加作为控制节点的节点即可，无需添加工作节点。工作节点需要在绿洲应用开发平台全部部署完成后在云容器引擎的相关集群的管理界面中单独添加。
· 管理网络、集群网络和存储网络在一定条件下可合并为同一网络，具体的介绍和说明请参考5.1.3 部署节点章节。
· 平台集群中各控制节点之间的管理网络和集群网络的IP地址不允许跨网段。
· 网络地址规划需要避开以下两个网段110.64.0.0/10（缺省容器网段）、10.96.0.0/12（缺省服务网段），系统占用了这两个网段作为平台集群内部使用地址，若用户已有的网络与这两个地址段冲突，请在gomatrix部署页面修改系统缺省网络。
· 浏览器版本：Google Chrome 41+ Mozilla Firefox 41+（41+不包含41）
· 浏览器分辨率：推荐分辨率为1600至1920之间。
· 配置要求中所有HDD盘均可替换为SSD盘，容量不低于所替换的HDD盘即可，接口类型不限。
· 控制节点所有服务器配置需保持一致或保持较小差异，不支持跨代、异构等服务器混合部署。
绿洲开发平台的运行环境如下表所示，分为控制节点和工作节点两种。
表2-3 控制节点
|
配置项 |
最低配置要求 |
|
型号 |
主流服务器厂商x86服务器（参考配套发布的软硬件兼容性列表） |
|
数量 |
3台，单台配置如下 |
|
CPU |
Intel Xeon V3系列或更新型号，总核数≥32 主频：≥ 2.0 GHz |
|
内存 |
≥ 128 GB |
|
系统盘 |
HDD（至少2块，做raid1）：raid后容量 ≥ 500GB 转速 ≥ 10000r/min 可选SSD |
|
数据盘1 |
HDD（至少1块）：容量 ≥ 200GB 且不超过1TB 转速 ≥ 10000r/min 供etcd使用，推荐用SSD盘。 |
|
数据盘2 |
HDD（至少1块）：容量 ≥ 2TB 且不超过4TB 转速 ≥ 10000r/min 供rook存储使用，如不需要使用rook存储，则可不配置。 |
|
RAID卡 |
缓存 ≥ 1GB 支持掉电保护 |
|
网卡 |
≥ 4个1000 Base-T 接口 ≥ 2个10 Gbps SFP+ 接口（可选） |
表2-4 工作节点
|
配置项 |
最低配置要求 |
|
型号 |
主流服务器厂商x86服务器（参考配套发布的软硬件兼容性列表） |
|
部署模式 |
支持虚拟机部署，生产环境需物理机部署 |
|
数量 |
≥ 1台（高可靠性需≥ 2台） |
|
CPU |
Intel Xeon V3系列或更新型号，总核数≥16 主频：≥ 2.0 GHz |
|
内存 |
≥ 32 GB |
|
系统盘 |
HDD：容量 ≥ 500GB 转速 ≥ 10000r/min 可选SSD |
|
数据盘1 |
HDD（至少1块）：容量 ≥ 2TB 且不超过4TB 转速 ≥ 10000r/min 供rook存储使用，如不需要使用rook存储，则可不配置。 |
|
网卡 |
≥ 4个1000 Base-T 接口 ≥ 2个10 Gbps SFP+ 接口（可选） |
|
说明 |
视承载的业务资源需求而定，这里只规定最低配置要求 |
绿洲开发平台的运行环境如下表所示，分为控制节点和工作节点两种。
表2-5 控制节点
|
配置项 |
最低配置要求 |
|
型号 |
主流服务器厂商x86服务器（参考配套发布的软硬件兼容性列表） |
|
数量 |
1台，单台配置如下 |
|
CPU |
Intel Xeon V3系列或更新型号，总核数≥48 主频：≥ 2.0 GHz |
|
内存 |
≥128 GB |
|
系统盘 |
HDD（至少2块，做raid1）：raid后容量 ≥ 500GB 转速 ≥ 10000r/min 可选SSD |
|
数据盘1 |
HDD（至少1块）：容量 ≥ 200GB 且不超过1TB 转速 ≥ 10000r/min 供etcd使用，推荐用SSD盘。 |
|
数据盘2 |
HDD（至少1块）：容量 ≥ 2TB 且不超过4TB 转速 ≥ 10000r/min 供rook存储使用，如不需要使用rook存储，则可不配置。 |
|
RAID卡 |
缓存 ≥ 1GB 支持掉电保护 |
|
网卡 |
≥ 4个1000 Base-T 接口 ≥ 2个10 Gbps SFP+ 接口（可选） |
表2-6 工作节点
|
配置项 |
最低配置要求 |
|
型号 |
主流服务器厂商x86服务器（参考配套发布的软硬件兼容性列表） |
|
部署模式 |
支持虚拟机部署，生产环境需物理机部署 |
|
数量 |
≥ 1台（高可靠性需≥ 2台） |
|
CPU |
Intel Xeon V3系列或更新型号，总核数≥16 主频：≥ 2.0 GHz |
|
内存 |
≥ 32 GB |
|
系统盘 |
HDD：容量 ≥ 500GB 转速 ≥ 10000r/min 可选SSD |
|
数据盘1 |
HDD（至少1块）：容量 ≥ 2TB 且不超过4TB 转速 ≥ 10000r/min 供rook存储使用，如不需要使用rook存储，则可不配置。 |
|
网卡 |
≥ 4个1000 Base-T 接口 ≥ 2个10 Gbps SFP+ 接口（可选） |
|
说明 |
视承载的业务资源需求而定，这里只规定最低配置要求 |
绿洲应用开发平台的部署流程如表2-7所述。
|
步骤 |
说明 |
详细配置 |
|
准备工作（必选） |
完成相应的检查和确认工作，获取必要安装软件，包括目标操作系统、绿洲平台软件，以降低部署过程中遇到问题的可能性 |
|
|
安装绿洲应用开发平台服务器（必选） |
安装绿洲应用开发平台服务器的节点 |
配置详情可参见4 安装绿洲应用开发平台服务器 |
|
部署绿洲应用开发平台（必选） |
部署绿洲应用开发平台组件 |
配置详情可参见5 部署绿洲应用开发平台 |
|
部署云服务和系统组件（可选） |
请根据业务需求部署PaaS、中间件等云服务组件 |
配置详情可参见后续章节 |
绿洲应用开发平台是H3C公司开发的，以容器为核心，为客户提供云原生技术从业务开发到运维的端到端解决方案的一种产品。本文接下来将介绍如何对该平台的相应软件进行部署准备。
请用户在部署工作开始前，参考本章内容完成相应的准备工作，以免部署过程中遇到各种无法预知或控制的问题。
部署绿洲应用开发平台前，请联系相关人员获取服务器的厂商、型号、相关配件、管理系统IP（如iLO、HDM等）等信息，并确认或检查以下内容：
· 检查服务器配置是否满足平台运行环境中的最低配置要求（请参见
· 运行环境）、确认已开启CPU超线程。在部署时添加节点的步骤里，系统会对服务器性能做初步检查，若结果不满足要求，则可能会导致平台集群部署失败。
· 确认服务器及相关配件的兼容性，参考随版本发布的《H3C 绿洲应用开发平台产品软硬件兼容性列表（E7xxx）.xlsx》。
· 确认服务器上是否存在需要备份的数据，如果有请联系相关人员将数据迁移至其他设备。
· 检查服务器本地时间是否正确，如不正确请及时修改服务器本地时间，部署完成后再修改系统时间会造成部分平台服务组件运行异常。
· 服务器上除了本地硬盘，是否存在其他存储介质，如插有多余的U盘或连接FC存储等，需要在安装平台前去掉这些不必要的外挂存储介质。
· 安装部署开始前，请用户正确设置服务器的磁盘RAID配置，安装时必须使用完成RAID配置后的第一块盘作为系统盘。通常为系统盘配置成RAID1，数据盘分别配置RAID0。
· 请确认服务器RAID卡缓存加速模式为开启状态。
安装平台服务器节点前，请联系相关人员为管理节点规划IP地址等信息。管理节点需准备的IP地址信息包括：
· 管理网IP：必选，准备IP地址、掩码信息、网关。
· 集群网IP：可选，准备IP地址、掩码信息。
· 存储网IP：可选，准备IP地址、掩码信息。
· VIP：即虚拟IP地址，包括管理网vip和集群网vip。
表3-1 IP地址
|
网络 |
介绍 |
|
管理网络 |
用户访问和管理平台时使用的网络，也是平台与其他云业务组件通讯的网络。平台集群部署环境下需要对管理网络配置虚IP |
|
集群网络 |
集群中各节点互相通讯时使用的网络。集群部署环境下需要对集群网络配置虚IP |
|
存储网络 |
平台连接存储设备时使用的网络 |
IP网段110.64.0.0/10、10.96.0.0/12为系统所占用，在进行平台IP地址规划时需要避开这两个网段。
绿洲应用开发平台的安装包名称为：解压目录信息如下：云容器引擎（cloudos-cce）、镜像仓库（cloudos-ccr）、企业应用（cloudos-paas）、服务网关（cloudos-svcgw）、应用诊断（cloudos-techops）、项目效能（cloudos-devops）。
|
软件 |
安装包名称 |
用途说明 |
获取方式 |
|
平台安装包 |
CloudOS-PLAT-<version>.iso |
用于安装平台 |
由H3C提供 |
|
云容器引擎安装包 |
cloudos-cce-<version>.zip |
用于安装云容器引擎云服务 |
由H3C提供 |
|
镜像仓库安装包 |
cloudos-ccr-<version>.zip |
用于安装镜像仓库云服务 |
由H3C提供 |
|
企业应用安装包 |
cloudos-paas-<version>.zip |
用于安装企业应用云服务 |
由H3C提供 |
|
项目效能安装包 |
paas-devops-<version>.zip |
用于安装项目效能云服务 |
由H3C提供 |
|
应用诊断安装包 |
cloudos-techops-<version>.zip |
用于安装应用诊断云服务 |
由H3C提供 |
|
服务网关安装包 |
cloudos-svcgw-<version>.zip |
用于安装服务网关云服务 |
由H3C提供 |
|
统一身份认证服务 |
cloudos-iam-<version>.zip |
用于业务系统的单点登录和认证集成 |
由H3C提供 |
|
中间件安装包 |
cloudos-mqs-<version>.zip |
用于安装中间件云服务 |
由H3C提供 |
强烈推荐在开局阶段部署NTP服务器，特别是涉及PaaS实际业务组件使用场景。否则会默认同步平台主节点服务器时间，但服务器硬件时间因晶振原因必定会存在运行一段时间后时间相比正式时间存在偏差的情况，导致集群整体时间和实际时间不一致。
平台支持用户指定NTP服务器的IP地址。如果用户需要使用指定的NTP服务器来提供基准时间，则现场实施人员在安装Master节点前需完成以下准备工作：
· 获取NTP服务器的IP地址。
· 保证Master节点的管理网IP地址可以和NTP服务器IP地址之间的双向通信正常。
· 部署前需确保节点时间于时钟源时间时差不超过5分钟，如超过则手动调整至范围内。
部署绿洲应用开发平台时，同时支持外部存储和内部存储：
· 外部存储：由外部的三方存储提供，包括静态ISCSI、静态FC、静态NFS和动态NFS。
· 内部存储：由集群内节点上的本地磁盘组成的容器化管理的rook-ceph组件提供，无法使用外部存储的局点可选择内部存储。
生产环境中推荐使用外部存储部署绿洲应用开发平台。
现对系统组件和云服务需要的存储做出简介，推荐使用外部存储的局点按下表准备：
表3-2 系统组件存储卷要求
|
组件名称 |
推荐最低容量 |
支持外部存储类型 |
组件说明 |
|
cloudos-harbor |
200G |
ISCSI、FC、NFS |
容器镜像仓库，用于存放容器镜像文件 |
|
100G |
ISCSI、FC、NFS |
||
|
os-elasticsearch |
50G |
ISCSI、FC、NFS |
用于日志中心的数据存放 同一组件的多个存储请使用相同类型和容量的存储 |
|
50G |
ISCSI、FC、NFS |
||
|
50G |
ISCSI、FC、NFS |
||
|
os-prometheus |
100G |
ISCSI、FC |
用于监控模块的数据存放 |
|
os-registry |
200G |
ISCSI、FC、NFS |
用于本地镜像仓库的镜像文件 |
|
cloudos-paas |
200G |
ISCSI、FC、NFS |
用于企业应用侧用户上传的jar/war/web包等应用包 |
|
cloudos-devops |
10G |
对象存储 |
用于devops侧用户的报告、附件等文件存储 |
部署绿洲应用开发平台时，需要的H3Linux2.0操作系统镜像已经在版本安装包中。
绿洲应用开发平台也支持部署在Ubuntu操作系统和银河麒麟操作系统环境，操作系统要求如下表所示。
表3-3 操作系统要求
|
操作系统 |
架构 |
版本 |
参考下载路径 |
|
Ubuntu |
x86_64 |
20.04.4 |
http://old-releases.ubuntu.com/releases/20.04/ |
|
Kylin |
x86_64 |
V10SP3 |
麒麟操作系统为商业操作系统，需客户自行购买 |
|
H3Linux |
x86_64 |
2.0.2-SP01 |
通过版本安装包获取 |
· 在服务器安装“绿洲应用开发平台”开发时，建议选用uefi模式。但某些型号比较旧的服务器对uefi支持不够，例如华为imana 200型号服务器，在安装时加载不出图形界面，此时请切换为legacy模式，然后进行安装并通过后台配置hostname和网络。
· 安装部署开始前，请用户正确设置服务器的系统时间，并将几个服务器时间与现实时间同步。安装部署完成后再修改系统时间会造成部分服务组件异常。
· 安装部署开始前，请用户正确设置服务器的磁盘RAID配置，安装时必须使用完成RAID配置后的第一块盘作为系统盘。通常为系统盘配置成RAID1，数据盘配置RAID0。
· 工作节点系统盘RAID配置可选择RAID1、RAID5、RAID6，是否配备数据盘请根据业务系统需求判断，平台不作要求。
· 绿洲应用平台支持的操作系统：Ubuntu-20.04.4、H3Linux-2.0.2-SP01和Kylin-Server-V10-SP3。
· 如果是新盘可以直接开始按要求分区，如果磁盘已经存在分区信息，应先备份后全部删除，避免分区导致磁盘上原有数据丢失。
· Default集群控制节点的磁盘分区与其他节点（包含default集群的工作节点，其他cce集群的控制节点和工作节点）的磁盘分区要求不同，请按照下文具体章节具体操作系统章节进行操作。
按照附录15.1 H3linux2.0节点安装完成具体安装工作。
按照附录15.3 Ubuntu节点安装完成具体安装工作。
安装绿洲应用开发平台服务器完成后，用户即可使用GoMatrix部署绿洲应用开发平台节点。本章将对如何部署绿洲应用开发平台节点进行详细介绍。
部署绿洲应用开发平台需提前安装好集群所有节点操作系统，操作系统安装过程请参考第4 安装绿洲应用开发平台服务器章节。
选择使用某个节点登录GoMatrix部署服务组件，登录后此节点即被指定为绿洲应用开发平台主集群的Master节点。
输入缺省的用户名和密码：admin/Passw0rd@_，部署完成之前不得修改密码。
部署配置过程中请点击页面的性能检查按钮对etcd等磁盘的IO性能进行检查，如果性能不满足，请更换磁盘。
表5-1 配置向导
|
操作 |
详细配置 |
|
登录部署界面 |
|
|
部署节点 |
(1) 启动浏览器，在地址栏中输入https://<某一节点的管理IP>:9091打开“GoMatrix”安装部署页面，如图5-1所示。
图5-1 登录GoMatrix安装部署页面
(2) 输入缺省的用户名和密码：admin/Passw0rd@_，单击<登录>按钮进入GoMatrix首页，即部署页面，如图5-2所示。
(1) 单击<部署>按钮，进入集群的基础配置页面，如图5-3所示。配置“集群网虚IP”、 “管理网虚IP”和NTP服务地址，且可在当前页的高级配置中修改配置“pod网段”和“service网段”，并单击<下一步>按钮。要求虚服务IP地址配置相同。
¡ 管理网虚IP：平台管理网络的虚服务地址，登录平台管理页面使用。
¡ 集群网虚IP：平台集群网络的虚服务地址，供集群节点之间的内部通信使用，可不对外开放访问。
¡ ETCD网段：该配置项可以使系统的系统etcd和服务etcd使用独立网络。
¡ NTP服务地址：缺省为主节点的管理IP地址，如果需要指定外部NTP服务器，则这里填写外部NTP服务器地址。
¡ 系统默认配置了110.64.0.0/10（缺省容器网段）、10.96.0.0/12（缺省K8S服务网段）。若用户已有的网络与这三个地址段冲突，可以单击高级配置，对相应的网段进行修改后再单击<下一步>按钮。
¡ K8S版本字段可以选择v1.22.6和v1.23.1版本，其中v1.22.6的K8S对应了步骤2组件配置中的边缘节点组件可选，否则不可选。
¡ 平台页面端口:允许用户在部署时修改业务平台页面的登录端口，以下拉选择的形式进行，不支持自定义。
¡ 在“组件配置”区域中，根据基础配置选择是否勾选边缘节点组件，勾选则部署cce完成后自动完成插件安装，否则不自动安装。后期如有需要，可在云容器引擎的插件管理中手动安装。
(2) 在“选择部署节点”区域中，选择主节点的集群IP，然后填写已完成章节4 的绿洲应用开发平台节点的集群网IP、用户名与密码，单击<添加>按钮，将节点加入集群。推荐添加节点后的数量为3或1。如下图所示。
图5-4 增加集群节点
¡ 性能判断：系统会自动判断安装环境的性能，有性能充足、性能普通、性能勉强、性能不足四种情况，每种情况可能会影响安装的结果。例如：性能充足和性能普通时，可以正常安装部署；性能勉强或性能不足时，可能导致部署时间延长或者部署失败，此时不建议继续部署，需要确认服务器硬件配置是否满足要求。服务器的硬件配置要求请参考
¡ 运行环境章节。
必须保证集群节点间的管理网络IP可达且在同一网段内。
配置虚IP和添加节点过程中，如被提示XXXX，请检查相关节点是否配置网关，或者网关是否配置到管理网卡上。
(3) etcd磁盘设置
etcd是平台集群核心组件的底层分布式数据库，保存和实时更新了平台集群的诸多状态信息。
生产环境下，平台每个控制节点都需要准备单独的硬盘供etcd使用，推荐使用SSD，切勿使用与其他设备在物理层面共享的磁盘设备或将一块磁盘分区给多个etcd使用，因为IO被挤占会导致ETCD节点之间数据不同步，容易引发集群故障。
安装部署开始前，请用户正确设置服务器的磁盘RAID配置，安装时必须使用完成RAID配置后的第一块盘作为系统盘。通常为系统盘配置成RAID1，其他数据盘分别配置RAID0。
etcd硬盘容量需不小于200G，不超过1T。
有条件的情况下，可以在配置前对两块硬盘进行IO基准测试，测试过程请参见章节16.1.1 部署节点前硬盘IO基准测试。
a. 选择主机。
图5-5 选择主机
b. 选择磁盘。
图5-6 选择磁盘
生产环境etcd必须使用独立磁盘；非生产环境建议使用独立磁盘，如果使用系统盘则需要保障系统盘的高性能。
如果磁盘列表没有目标的磁盘，请在相关节点后台执行bash /opt/gomatrix/script/erase_disk.sh /dev/xxx，xxx代表目标磁盘符。请不要对系统盘执行该脚本，否则需要重装操作系统。
c. 分别对三台节点勾选并选择磁盘后，单击<下一步>。
如果不选择磁盘，etcd将使用系统盘。
如果在操作过程中由于操作失误，选择了错误的磁盘，需要重新配置，请参见章节16.1.2 部署节点时etcd节点选择错误。
如果磁盘列表没有目标的磁盘，请在相关节点后台执行bash /opt/gomatrix/script/erase_disk.sh /dev/xxx，xxx代表目标磁盘符。
(4) 存储配置可以选择本地磁盘作为集群内部存储空间，也可以配置外部NFS存储的存储类。两者都可以提供给集群上的容器使用。请注意，所选本地磁盘的原有数据会被清除。
a. 使用外部NFS存储类。
b. 使用内部存储
c. 同时使用内部存储+外部NFS存储类
(5) 组件配置是为plat部署阶段需要使用存储卷的组件配置符合要求的存储卷的过程，此处支持内部存储和外部存储，可以直接接使用存储类由系统创建存储卷，也可以直接指定外部的静态存储卷。存储卷的配置不需要去节点后天做任何操作，直接将以获取的存储信息输入校验即可，如下图示例。
(6) 进入配置信息确认页面，如下图所示。分别核对基础信息、节点配置信息和etcd配置信息，确认无误后单击<部署>按钮。如果有配错的地方可返回上一步重新配置。
图5-7 信息确认
(7) 开始部署绿洲开发平台，如下图所示。
图5-8 开始部署
点击部署后，部署完成耗时正常为1个小时左右，但在某些性能较差的环境下，安装部署耗时会相对长一些，部署进度条会停留在66%较长时间，此时请耐心等待。如果Gomatrix页面超时退出登录，可重新打开浏览器并登录Gomatrix，即可看到部署进度和结果。
(8) 等待部署完成。可在节点信息页面查看部署详细信息。
图5-9 查看部署信息
(9) 检查组件安装情况：部署完成后，进入安装包页面，单击状态栏，勾选“安装失败”的状态进行筛选，若存在安装失败的组件，请联系H3C技术支持。
图5-10 检查组件安装情况
(10) 查看组件执行情况：进入部署页面，单击右上角<预装组件状态>按钮，查看各组件是否正常。若存在执行失败的脚本，请联系技术支持。
(11) 若所有组件部署成功且不存在执行失败的脚本，则表示安装部署成功。
云服务与系统组件服务使您能够创建并管理本操作系统中的可执行应用程序。通过管理这些可执行应用程序，您可以像管理服务目录一样更自由的决定对外提供的云服务。
系统管理员需首先上传待部署的相关云服务的安装包，具体请参考章节3.3安装文件准备。
使用sftp工具上传安装包，完整的文件上传路径如部署向导顶部提供，sftp连接服务器时，地址取部署向导顶部提示的IP地址，用户名root，默认密码以安装操作系统设置的密码为准，比如：Passw0rd@_。
(1) 在左侧导航树单击[服务与组件]菜单项，在点击[服务部署向导]子菜单，进入部署向导页面。
(2) 按照屏幕上方提供的安装包上传地址，使用sftp工具上传安装包到该目录，然后点击刷新列表可查看安装包信息。
图5-11 部署向导
· 本节介绍云服务和组件的通用部署步骤，请按照顺序进行部署,（一次部署一个组件或者云服务）。云服务安装部署顺序：云容器引擎（cloudos-cce）-->镜像仓库（cloudos-ccr）-->日志中心（cloudos-elk）-->企业应用（cloudos-paas）-->服务网关（cloudos-svcgw）-->应用诊断（cloudos-techops）-->项目效能（cloudos-devops）-->中间件（cloudos-mqs）。
· 使用NFS静态存储部署云服务时，不能多服务共用一个文件目录，否则可能导致组件部署失败。
(1) 部署cloudos-cce后，登录到业务系统，在cce的default集群详情页面，存储资源-存储卷，根据使用的外部存储新建一个pv（该pv必须使用key:os-paas-pv的标签），以iscsi为例，如下图：
(2) 在gomatrix部署向导页面，按照上述顺序继续依次勾选要部署的安装包，在高级配置中选择目标存储类或者外部存储卷（外部存储卷均通过上一步操作创建，此处点击高级配置刷新按钮即可选择），再确认版本和部署区域等参数是否正确。以paas云服务部署为例，刷新高级配置中的存储类或者存储卷如下图：
图5-12 云服务和配置
图5-13 高级配置
高级配置中定义了云服务是否需要使用存储卷以及存储卷的容量，请鼠标悬停上图中问号图标，查看云服务的存储要求，并输入容量数据，格式为：数值+单位，比如上图要求最小200G，则至少输入200G。
(3) 单击<立即部署>按钮，进入部署确认页面，选择确认后开始部署。如果单击[服务列表]页签，可查看部署中的服务，服务状态为“部署中”，部署完成的服务，服务状态为“启用”。
图5-14 服务列表
请参考附录章节选择目标操作系统内容完成节点系统安装，脚本执行等准备工作。
安装操作系统后确认待部署到同一集群的所有节点处于同一网段，两两之间网络互通，且与主集群（Default）之间的网络互通。
CCE集群支持的操作系统：Ubuntu-20.04.4、H3Linux-2.0.2-SP01和Kylin-Server-V10-SP3。
CCE集群节点最低配置8核/16G/100G，实际生产环境建议根据规模选择更高配置的节点。
表6-1 部署流程说明
|
步骤 |
是否必选 |
描述 |
|
部署cloudos-cce服务 |
是 |
- |
部署云容器引擎时，需要准备的软件安装包如下表所示：
表6-2 软件列表
|
软件 |
安装包名称 |
用途说明 |
获取方式 |
|
cloudos-cce |
cloudos-cce-<version>.zip |
Cce |
安装包中提供 |
检查环境中相关依赖服务是否安装完成，且功能正常：
· Harbor
· cloudos-cce-project
· sys-app
访问平台服务部署页面https://vip:9091/页面，如图4-3所示，部署云容器引擎云服务安装包，步骤如下：
(1) 上传安装包cloudos-cce***.zip到指定目录。
(2) 点击：服务与组件—>服务部署向导—>按照提示将软件包上传到指定服务器的目录—>选择对应的软件包和版本（部署区域和操作保持默认）—>点击立即部署。
云容器引擎部署完成后，在[服务与组件/服务列表]页面，可检查云容器引擎版本和服务状态，如下图所示：
图6-2 云容器引擎云服务状态
单击服务名称进入云服务详情页面，在[服务]页签中，检查云容器引擎中所含服务状态是否均为正常。
所有集群添加worker节点均需要安装与所在集群相同版本的操作系统。
请参考附录章节选择目标操作系统内容完成节点系统安装，脚本执行等准备工作，注意区分default集群工作节点和cce集群节点的脚本执行区别。
(1) 将鼠标悬浮于[产品与服务]图标
之上，选择[容器服务/云容器引擎]菜单项，进入云容器引擎页面。
(2) 在左侧导航树中单击[集群]菜单项，进入集群列表页面，如图6-3所示：
(3) 点击集群ID链接，进入集群详情页，点击节点列表如图6-4所示：
(4) 可点击<增加worker>按钮增加工作节点如图6-5所示：
(5) 节点的其他管理功能也可在该节点列表页面进行。
(1) 将鼠标悬浮于[产品与服务]图标
之上，选择[容器服务/云容器引擎]菜单项，进入云容器引擎页面。
(2) 在左侧导航树中单击[集群]菜单项，进入集群列表页面，如图6-6所示：
(3) 单击目标集群操作列<更多>按钮，在下拉菜单中单击<边缘配置>按钮，如图6-7所示：
(4) 根据实际环境进行边缘配置，如图6-8所示：
|
项目 |
描述 |
映射说明 |
|
公网IP |
集群向边缘节点公开的通信地址 |
|
|
端口10000 |
用于边缘插件管理组件之间的通信端口 |
防火墙端口映射无要求，正常映射关系即可，比如40000-10000，则上图左侧填40000 |
|
端口10002 |
||
|
端口10003 |
||
|
端口10004 |
||
|
端口29443 |
集群边缘代理端口，用于转发镜像拉取等请求 |
|
|
端口20006 |
用于应用云边通信的端口 |
防火墙端口映射需要同端口映射，比如40006-40006 |
(5) 上一步确认配置操作后，进入集群详情页，等待集群的边缘云插件状态重新变为“运行中”，至此边缘配置完成。如图6-9所示：
(1) 将鼠标悬浮于[产品与服务]图标
之上，选择[容器服务/云容器引擎]菜单项，进入云容器引擎页面。
(2) 在左侧导航树中单击[集群]菜单项，进入集群列表页面。
(3) 点击集群ID链接进入目标集群详情页，可在边缘节点组页签新建和管理边缘节点组，如图6-10所示：
(1) 将鼠标悬浮于[产品与服务]图标
之上，选择[容器服务/云容器引擎]菜单项，进入云容器引擎页面。
(2) 在左侧导航树中单击[集群]菜单项，进入集群列表页面。
(3) 点击集群ID链接进入目标集群详情页，可在节点页签新建和管理边缘节点，如图6-11所示：
(4) 单击<增加边缘worker>按钮，在节点命令生成的配置中配置相关参数后（别名非必填，不填则默认使用节点的hostname），点击下图箭头的复制按钮完成命令复制后即可到目标边缘节点后台粘贴执行，如图6-12所示：
(5) 命令执行结束后，等待edge节点完成添加即可，如图6-13所示：
镜像仓库服务（Image Management Service）提供安全的应用镜像托管能力，精确的镜像安全扫描功能，稳定的镜像构建服务，方便用户对镜像进行全生命周期管理。镜像仓库服务简化了Registry的搭建运维工作，支持镜像分类、公有、私有管理，为用户提供快速、稳定的Docker镜像集中存储和分发服务。
表7-1 部署流程说明
|
步骤 |
是否必选 |
描述 |
|
上传安装包 |
是 |
|
|
部署安装包 |
是 |
部署镜像仓库时，需要准备的软件安装包如下表所示：
表7-2 软件列表
|
软件 |
安装包名称 |
用途说明 |
获取方式 |
|
镜像仓库软件包 |
cloudos-ccr-<version>.zip |
部署镜像仓库云服务 |
- |
检查环境中相关依赖服务是否安装完成，且功能正常：
· 登录gomatrix检查harbor是否安装。
· 检查依赖的基础服务是否已安装cill服务。
访问gomatrix页面，上传镜像仓库安装包，步骤如下：
(1) 点击左侧导航树[服务与组件/服务部署向导]菜单，进入部署向导页面。
(2) 在部署向导页面，根据页面上提示上传cloudos-ccr安装包到对应目录下。
(3) 上传步骤如下：
a. 通过sftp方式将cloudos-ccr安装包上传至sftp://<IP>:/opt/sys-app/package-files文件夹下。
(4) 上传完成后，点击刷新列表，查看[容器服务]列表中出现cloudos-ccr服务。
图7-1 上传安装包
访问gomatrix页面，部署镜像仓库安装包，步骤如下：
(1) 点击左侧导航树[服务与组件/服务部署向导]菜单，进入部署向导页面。
(2) 勾选列表中的cloudos-ccr安装包，此时按需求选择安装包版本，部署区域默认由系统自动分配。
(3) 安装包选择完成后，镜像仓库安装包无高级配置参数，此时可直接单击<立即部署>按钮，等待部署成功。
镜像仓库部署完成后，在[服务与组件/服务列表]页面，可检查镜像仓库版本和服务状态，如图7-2所示。
图7-2 镜像仓库云服务状态
单击服务名称进入云服务详情页面，在“服务”页签中，检查镜像仓库中所含服务状态是否均为正常，如下图所示。
应用服务的核心是应用管理，其采用业界领先的微服务架构，将自身服务微服务化，保证自身服务高可用，满足云原生交付规范，支持容器化的应用管理，是一个企业级应用管理平台。应用管理服务提供容器应用的全生命周期管理、弹性伸缩、负载均衡等功能，并集成了平台其它模块的能力，例如服务治理、服务监控、服务安全等。
|
步骤 |
是否必选 |
描述 |
|
|
部署Plat |
必选 |
- |
|
|
部署企业应用 |
上传安装包 |
必选 |
|
|
部署安装包 |
必选 |
||
|
配置License-Server |
必选 |
生产环境中 |
|
部署企业应用时，需要准备的软件安装包如下表所示：
表8-1 软件列表
|
软件 |
安装包名称 |
用途说明 |
获取方式 |
|
企业应用安装包 |
cloudos-paas-<version>.zip |
用于安装企业应用云服务 |
- |
检查环境中相关依赖服务是否安装完成，且功能正常：
· 检查依赖的平台服务cloudos-harbor是否安装，且功能正常。
· 检查依赖的系统组件cloudos-elk是否安装，且功能正常。
· 检查依赖的系统组件alertmanager告警组件是否安装，且功能正常。
访问gomatrix页面，上传企业应用安装包，步骤如下：
(1) 点击左侧导航树[服务与组件/服务部署向导]菜单，进入部署向导页面。
(2) 在部署向导页面，根据页面上提示上传cloudos-paas安装包到对应目录下。
(3) 上传步骤如下：
a. 通过sftp方式将cloudos-paas-<version>.zip安装包上传至sftp://<IP>:/opt/sys-app/package-files文件夹下。
(4) 上传完成后，点击刷新列表，查看[服务列表/云服务]列表中出现cloudos-paas服务。
图8-1 上传安装包
访问gomatrix页面，部署企业应用安装包，步骤如下：
(1) 点击左侧导航树[服务与组件/服务部署向导]菜单，进入部署向导页面。
(2) 勾选列表中的cloudos-paas安装包，此时按需求选择安装包版本，部署区域默认由系统自动分配。
(3) 安装包选择完成后，企业应用安装包需要一块存储，在高级配置参数进行选择，根据实际情况选择对应的存储类或者静态存储，应用仓库存储建议大小最小200G。选择完成后，单击<立即部署>按钮，等待部署成功。
云服务使用静态存储时要求静态存储pv标签包括“key:xxx”标签（即标签的“键”固定为“key”，标签的值可以自定义），才可在云服务部署时的下拉列表中选择到，故需在新建存储卷时手动添加该标签，且企业应用需要的读写方式为“单节点读写”。
(4) 部署成功后，cloudos-paas服务状态为已部署。
图8-2 部署安装包
图8-3 部署过程
(1) 检查gomatrix服务界面是否显示已部署：
图8-4 部署后gomatrix服务部署界面
(2) 访问控制台页面，查看企业应用服务是否正常访问：
图8-5 部署后企业应用控制台（新部署后界面无数据）
服务网关，即API（Application Programming Interface，应用程序编程接口）网关，是微服务架构中一个关键的角色，用来保护、增强和控制外界对服务的访问。服务网关作为整个微服务系统的入口，外界对服务的唯一访问点，负责处理所有服务的负载均衡、缓存、路由、访问控制等。通过服务网关，可以实现微服务系统在业务形态上的统一鉴权，同时保证对业务系统微服务的最小侵入性。
表9-1 部署流程说明
|
步骤 |
是否必选 |
描述 |
|
|
部署Plat |
必选 |
- |
|
|
部署服务网关 |
上传安装包 |
必选 |
|
|
部署安装包 |
必选 |
||
|
配置License |
必选 |
生产环境中 |
|
部署服务网关时，需要准备的软件安装包如下表所示：
表9-2 软件列表
|
软件 |
安装包名称 |
用途说明 |
获取方式 |
|
服务网关安装包 |
cloudos-svcgw-<version>.zip |
用于安装服务网关云服务 |
- |
检查环境中相关依赖服务是否安装完成，且功能正常：
· 检查依赖的平台服务cloudos-harbor是否安装。
· 检查依赖的系统组件cloudos-elk是否安装。
访问gomatrix页面，上传服务网关安装包，步骤如下：
(1) 点击左侧导航树[服务与组件/服务部署向导]菜单，进入部署向导页面。
(2) 在部署向导页面，根据页面上提示上传cloudos-svcgw安装包到对应目录下。
(3) 上传步骤如下：
a. 通过sftp方式将cloudos-svcgw-<version>.zip安装包上传至sftp://<IP>:/opt/sys-app/package-files文件夹下。
(4) 上传完成后，点击刷新列表，查看[服务列表/云服务]列表中出现cloudos-svcgw服务。
图9-1 上传安装包
访问gomatrix页面，部署服务网关安装包，步骤如下：
(1) 点击左侧导航树[服务与组件/服务部署向导]菜单，进入部署向导页面。
(2) 勾选列表中的cloudos-svcgw安装包，此时按需求选择安装包版本，部署区域默认由系统自动分配。
(3) 安装包选择完成后，服务网关安装包无高级配置参数，此时可直接单击<立即部署>按钮，等待部署成功。
(4) 部署成功后，cloudos-svcgw服务状态为已部署。
图9-2 部署安装包
访问控制台页面，查看服务网关服务是否正常访问。
图9-3 部署后控制台服务网关
应用诊断从业务应用全局视角，基于业务整体的健康度对系统运行状态进行全方位监控和统计，包括基础设施、微服务、基础中间件、服务网关、链路、日志、告警等，为企业运维人员提供了一款指标分析型工具。
表10-1 部署流程说明
|
步骤 |
是否必选 |
描述 |
|
部署Plat |
必选 |
- |
|
部署应用诊断 |
必选 |
- |
部署应用诊断时，需要准备的软件安装包如下表所示：
表10-2 软件列表
|
软件 |
安装包名称 |
用途说明 |
获取方式 |
|
应用诊断安装包 |
cloudos-techops-<version>.zip |
安装应用诊断整包 |
联系CMO |
检查环境中相关依赖服务是否安装完成，且功能正常：
· 平台正确安装。
· 依赖的告警中心服务os-alert-svc正确运行。
· 依赖的平台公共服务正确运行，如MySQL、Redis、RabbitMQ、license服务、prometheus服务、cill服务、bolt服务等。
访问gomatrix页面，上传应用诊断安装包，步骤如下：
(1) 点击左侧导航树[服务与组件/服务部署向导]菜单，进入部署向导页面。
(2) 在部署向导页面，根据页面上提示上传cloudos-techops安装包到对应目录下。
(3) 上传步骤如下：
a. 通过sftp方式将cloudos-techops安装包上传至sftp://<IP>:/opt/sys-app/package-files文件夹下。
(4) 上传完成后，点击刷新列表，查看[云服务]列表中出现cloudos-techops服务。
图10-1 上传安装包
访问gomatrix页面，部署应用诊断安装包，步骤如下：
(1) 点击左侧导航树[服务与组件/服务部署向导]菜单，进入部署向导页面。
(2) 勾选列表中的cloudos-techops安装包，此时按需求选择安装包版本，部署区域默认由系统自动分配。
(3) 直接单击<立即部署>按钮，等待部署成功。
(4) 部署成功后，应用诊断服务状态为已部署。
项目效能立足于客户项目及流程的数字化管理，支持但不限于以Scrum精益敏捷为代表的多种项目管理框架模型。提供项目、需求、缺陷、迭代、里程碑版本、交付、测试、环境管理、制品管理等功能模块，并通过能力中心和项目模板管理支持项目功能及流程的个性化定义。在项目管理上云之后，项目效能将沉淀项目过程数据，形成效能度量，并以此为反馈，持续优化项目过程，持续提高项目效能管理。
表11-1 部署流程说明
|
步骤 |
是否必选 |
描述 |
|
|
部署Plat |
必选 |
- |
|
|
部署项目效能 |
上传安装包 |
必选 |
|
|
部署安装包 |
必选 |
||
部署项目效能时，需要准备的软件安装包如下表所示：
表11-2 软件列表
|
软件 |
安装包名称 |
用途说明 |
获取方式 |
|
项目效能安装包 |
paas-devops-<version>.zip |
用于安装项目效能云服务 |
联系CMO |
检查环境中相关依赖服务是否安装完成，且功能正常：
· 检查依赖的平台服务cloudos-harbor是否安装。
· 安装时检查依赖的平台服务rook-ceph是否安装（对接外部存储时忽略）。
访问gomatrix页面，上传项目效能安装包，步骤如下：
(1) 点击左侧导航树[服务与组件/服务部署向导]菜单，进入部署向导页面。
(2) 在部署向导页面，根据页面上提示上传paas-devops安装包到对应目录下。
(3) 上传步骤如下：
a. 通过sftp方式将paas-devop-<version>.zip安装包上传至sftp://<IP>:/opt/sys-app/package-files文件夹下。
(4) 上传完成后，点击刷新列表，查看[服务列表/云服务]列表中出现cloudos-devops服务。
图11-1 上传安装包
访问gomatrix页面，部署服务网关安装包，步骤如下：
(1) 点击左侧导航树[服务与组件/服务部署向导]菜单，进入部署向导页面。
(2) 勾选列表中的cloudos-devops安装包，此时按需求选择安装包版本；
(3) 勾选cloudos-devop后进行高级配置，选择对象存储类型外部存储或者内部存储。
(4) 若当前操作为升级操作,并且版本路径为E7164及其之前版本升级到E7165时，用户部署时需要选择对象存储为内部存储类型并下发部署。（新部署无此限制）
E7165版本部署要求如下：
若选择内部存储时，需要保证平台服务rook-ceph已经安装，否则部署会失败。
若选择外部存储时，项目效能支持对接第三方对象存储（S3协议）。必须保证第三方对象存储已经就绪，并且据实填写外部存储URL、外部存储Access Key、外部存储Secret Key、外部存储Bucket Name。参数解释：
|
参数 |
含义 |
举例 |
|
外部存储URL |
对象存储URL |
10.51.93.15:9090 |
|
外部存储Access Key |
对象存储Access Key |
ak |
|
外部存储Secret Key |
对象存储Secret Key |
sk |
|
外部存储Bucket Name |
桶，需要预置devops使用的对象存储桶 |
devops |
若选择外部存储时，Access key、Secret Key、Bucket Name不支持纯数字。
(5) 单击<确定>按钮，等待部署成功；
(6) 部署成功后，cloudos-devops服务状态为已部署。
图11-2 部署安装包
(1) 访问http://ip:31170，用账号admin和密码admin123登录。界面见下图：
(2) 新建账号，新建企业，并将账号添加到企业中。
(3) 访问http://ip:31160，用新建的账号和密码登录。界面见下图：
统一身份认证服务提供简单、标准、安全、开放的用户管理、身份认证、单点登录（SSO）等功能。通过开放的API接口，实现业务系统的单点登录和认证集成。同时，通过应用商店的应用发布和订阅能力实现应用接入和访问权限管理，以小程序的形式提供快速检索和便捷访问企业应用的能力。
表12-1 部署流程说明
|
步骤 |
是否必选 |
描述 |
|
|
部署Plat |
必选 |
- |
|
|
部署统一身份认证 |
上传安装包 |
必选 |
|
|
部署安装包 |
必选 |
||
部署统一身份认证服务时，需要准备的软件安装包如下表所示：
表12-2 软件列表
|
软件 |
安装包名称 |
用途说明 |
获取方式 |
|
统一身份认证安装包 |
cloudos-iam-<version>.zip |
用于安装统一身份认证云服务 |
- |
检查环境中相关依赖服务是否安装完成，且功能正常：
· 检查依赖的平台服务cloudos-harbor是否安装。
访问gomatrix页面，上传统一身份认证安装包，步骤如下：
(1) 点击左侧导航树[服务与组件/服务部署向导]菜单，进入部署向导页面。
(2) 在部署向导页面，根据页面上提示上传cloudos-iam安装包到对应目录下。
(3) 上传步骤如下：
a. 通过sftp方式将cloudos-iam-<version>.zip安装包上传至sftp://<IP>:/opt/sys-app/package-files文件夹下。
(4) 上传完成后，点击刷新列表，查看[服务列表/云服务]列表中出现cloudos-iam服务。
图12-1 上传安装包
访问gomatrix页面，部署统一身份认证安装包，步骤如下：
(1) 点击左侧导航树[服务与组件/服务部署向导]菜单，进入部署向导页面。
(2) 勾选列表中的cloudos-iam安装包，此时按需求选择安装包版本，部署区域默认由系统自动分配。
(3) 安装包选择完成后，统一身份认证安装包无高级配置参数，此时可直接单击<立即部署>按钮，等待部署成功。
(4) 部署成功后，cloudos-iam服务状态为已部署。
图12-2 部署安装包
访问控制台页面，查看统一身份认证服务是否正常访问。
图12-3 部署后控制台统一身份认证
轻量化PaaS平台将中间件云服务依托于云容器引擎的方式对外提供服务。当前所有的中间件服务以一个安装包集中提供。目前支持的服务包含：kafka、RabbitMQ、Zookeeper。
Kafka：消息队列Kafka是一个具有分布式、高吞吐量、可扩展性，支持日志收集、监控数据聚合、流式数据处理、在线和离线分析的消息队列服务。消息队列Kafka针对开源社区的Kafka提供全托管服务，可选的存储和计算资源，使得用户能够根据需求购买消息队列Kafka；用户只需专注于业务开发，不用考虑部署运维，实现Kafka服务低成本、更弹性、更可靠。
RabbitMQ：消息队列RabbitMQ是一种跨进程、异步的通信机制，由消息系统来确保消息的可靠传递。完全兼容开源RabbitMQ，部署方便，提供丰富的工具和插件。具有易用性、扩展性、可靠性以及高可用性等特性。适用于异步处理、应用解耦、限流削峰（秒杀活动）、日志处理、消息通讯等场景。
Zookeeper：ZooKeeper是一种分布式的，开放源码的分布式应用程序协调服务，提供了包括配置维护、域名服务、分布式同步等功能。
表13-1 部署流程说明
|
步骤 |
是否必选 |
描述 |
|
|
部署Plat |
必选 |
- |
|
|
部署云容器引擎 |
必选 |
- |
|
|
部署中间件云服务 |
上传安装包 |
必选 |
访问gomatrix页面，完成中间件云服务安装包的上传和部署，详情请参见13.4 部署中间件云服务安装包。 |
|
部署安装包 |
必选 |
||
|
配置License |
必选 |
生产环境中 |
|
中间件云服务时，需要准备的软件安装包如下表所示：
表13-2 软件列表
|
软件 |
安装包名称 |
用途说明 |
获取方式 |
|
中间件云服务 |
cloudos-mqs-<version>.zip |
用于安装中间件云服务 |
- |
检查环境中相关依赖服务是否安装完成，且功能正常：
· 平台正确安装。
· 云容器引擎正确安装。
· 依赖的告警中心服务os-alert-svc正确运行。
· 依赖的平台公共服务正确运行，如MySQL、license服务、prometheus服务、cill服务等。
访问gomatrix页面，上传中间件云服务安装包，步骤如下：
(1) 点击左侧导航树[服务与组件/服务部署向导]菜单，进入部署向导页面。
(2) 在部署向导页面，根据页面上提示上传cloudos-mqs安装包到对应目录下。
(3) 上传步骤如下：
a. 通过sftp方式将cloudos-mqs安装包上传至sftp://<IP>:/opt/sys-app/package-files文件夹下。
(4) 上传完成后，点击刷新列表，查看[云服务]列表中出现cloudos-mqs服务。
图13-1 上传安装包
访问gomatrix页面，部署中间件云服务安装包，步骤如下：
(1) 点击左侧导航树[服务与组件/服务部署向导]菜单，进入部署向导页面。
(2) 勾选列表中的cloudos-mqs安装包，此时按需求选择安装包版本，部署区域默认由系统自动分配。
(3) 直接单击<立即部署>按钮，等待部署成功。
(4) 部署成功后，中间件云服务状态为已部署。
绿洲应用开发平台通过License Server获得License授权。关于远端License授权管理，请参考《H3C软件产品远程授权License使用指南》中的相关操作进行License授权的全流程操作，本产品的License申请等操作请在产品分类中选择“云应用_H3C CloudOS 7.0”。
a. 挂载H3linux2.0安装文件到光驱后启动服务器；
b. 选择从光驱/USB引导后，进入平台安装向导界面，如下图所示。
c. 选择“InstallH3Linux 2.0.2”选项（缺省选项），按<Enter>键继续。
安装iso时只需要安装系统盘即可。
系统盘必须选择第一块盘（比如sda），否则会造成操作系统启动失败。
(2) 选择语言。
引导安装后会进入语言选择界面，语言选择English—English（United States），如图15-1所示：
(3) Host name配置。
a. 单击<NETWORK & HOST NAME>配置项，弹出配置网络与主机名窗口，如下图所示。
b. 在“Host name”文本框中配置服务器的主机名。
同一集群中节点的主机名不能相同，主机名应由小写字母或数字组成，必须以小写字母开头，可以包含括号中的英文符号（-.），长度4-28位，且不能设置为以下值：controller、controllers、worker、workers、master、masters、new_node、 new_nodes、etcd、etcds、node、nodes、new_master、new_masters、cloudos。若修改主机名，请在修改后单击<Apply>按钮。修改后可在右侧的“Current host name”栏中查看目前的主机名。
(4) 配置管理/集群网卡。
a. 选择管理/集群网连接的网卡，单击<Configure>按钮弹出网卡配置窗口，如下图所示：
这里的Connection name不建议更改，要求必须以e开头、p开头或者bond开头。
b. 选择“General”选项卡，选中“Connect Automatically with priority”选项，如下图所示：
c. 选择“IPv4 Settings”选项卡，在“Method”下拉菜单中选择“Manual”选项，单击<Add>按钮，配置IPv4地址、掩码、网关，并选中“Require IPv4 addressing for this connection to complete”选项，单击<Save>按钮保存，如下图所示：
管理网卡必须配置网关，多网卡时只配置一个网关，如无真实网关可配置虚拟网关地址占位，否则会导致集群部署失败。
(5) 配置存储网卡（可选）。
平台支持存储业务网与管理网复用，如果存储业务网与管理网不复用，用户规划了独立的存储网络，则需要服务器加装存储网卡并进行相应网络配置，配置过程请参考上面管理网卡配置过程。
(6) 单击左上角的<Done>按钮完成网络配置，如图15-2所示：
目前仅IPv4地址的配置有效，暂不支持IPv6地址。
配置IP地址时，可能会出现不能SAVE（保存）配置的情况，请删除当前配置后再重新配置。
网络配置完成后，请将网络连接配置为ON状态（
）。
(7) 软件选择。
a. 单击<Software Selection>配置项，弹出软件选择窗口，如下图所示：
b. 进入软件页面后选择按下图进行配置，左侧基本环境（Base Environment）选择Server，右侧选择工具包选择 Network File System Client、Performance Tools和Development Tools。
(8) 集群节点的系统盘分区配置。
Default集群的控制节点，与default工作节点和其他自定义的CCE集群的节点的分区不同。
分区会导致磁盘上原有数据丢失，如磁盘已经存在分区信息，请先全部删除。
legacy启动模式与UEFI启动模式的启动分区不同，其他分区两种模式无区别。
节点分区说明：
default集群的控制节点，与default集群工作节点以及CCE集群的节点，对磁盘分区的要求不同。
表15-1 default集群控制节点分区及容量（UEFI和BIOS根据实际情况二选一）
|
名称 |
Device Type |
File System |
容量 |
挂载点 |
|
BIOS Boot（legacy模式） |
Standard Partition |
BIOS Boot |
2M |
不需配置 |
|
/boot/efi（UEFI模式） |
Standard Partition |
EFI System Partition |
2G |
/boot/efi |
|
boot |
Standard Partition |
ext4 |
2G |
/boot |
|
root |
lvm |
ext4 |
150G |
/ |
|
mysql |
lvm |
ext4 |
100G |
/opt/h3cloud/mysql |
|
log |
lvm |
ext4 |
40G |
/var/log |
|
containerd |
lvm |
ext4 |
剩余容量 |
/var/lib/containerd |
表15-2 default工作节点以及cce节点分区及容量（UEFI和BIOS根据实际情况二选一）
|
名称 |
Device Type |
File System |
容量 |
挂载点 |
|
BIOS Boot（legacy模式） |
Standard Partition |
BIOS Boot |
2M |
不需配置 |
|
/boot/efi（UEFI模式） |
Standard Partition |
EFI System Partition |
2G |
/boot/efi |
|
boot |
Standard Partition |
ext4 |
2G |
/boot |
|
root |
lvm |
ext4 |
剩余容量 |
/ |
a. 单击<Installation Destination>配置项，弹出磁盘分区窗口，如下图所示：
b. 选中规划的系统盘，“Storage Configuration”选择“ Custom”，如图：
c. 启动分区（legacy模式），节点主机的启动模式为legacy时，在对系统盘进行分区需要设置一个BIOS Boot分区，容量、类型以及文件系统的具体配置如下：
d. 启动分区（UEFI模式），若节点主机的启动模式为UEFI时，在对系统盘进行分区需要设置一个挂载路径为/boot/efi的分区，挂载路径、容量、类型、文件系统的具体配置如下：
e. boot分区，新增一个boot分区，挂载路径、容量、类型、文件系统的具体配置如下：
f. root分区，新增一个root分区，挂载路径、容量、类型、文件系统、卷组（若cloudos的卷组不存在则需要自己创建）、名称的具体配置如下：
g. mysql分区，新增一个mysql分区，挂载路径、容量、类型、文件系统、卷组（若cloudos的卷组不存在则需要自己创建）、名称的具体配置如下：
h. log分区，新增一个log分区，挂载路径、容量、类型、文件系统、卷组（若cloudos的卷组不存在则需要自己创建）、名称的具体配置如下：
i. containerd分区，新增一个containerd分区，挂载路径、容量、类型、文件系统、卷组（若cloudos的卷组不存在则需要自己创建）、名称的具体配置如下：
j. 确认分区，分区完成后，点击左上角的<Done>，在弹出的页面点击<Accept Changes>。
(9) 设置root密码。
a. 单击<Root Password>配置项，可启用并设置root账号密码，如下图所示：
(10) 设置时区。
a. 单击<Time&Date>按钮进行时区和时间的设置，时区设置为Asia\Shanghai，时间设置与目标时钟源一致。
(11) 安装过程。
a. 以上配置项配置完成后，单击<Begin Installation>按钮开始安装，如下图：
b. 安装过程如下图：
c. 安装完成，点击右下角的<Reboot System>，进行操作系统重启。
平台部署完成前不得修改密码。
(12) 执行安装脚本（default集群的节点执行此步骤）。
a. 将准备的平台安装包（CloudOS-PLAT-E7xxxx.iso）上传到对应节点；
b. 在节点上执行mkdir -p /root/isomount；
c. 将ISO文件挂载到/root/isomount；
d. 进入/root/isomount/tools目录，执行bash install.sh，执行过程中，如果是装default集群的控制节点，则输入c后回车，如果是装default集群的控制节点，则输入w后回车。
(13) 执行安装脚本（CCE节点执行此步骤）。
a. 将准备的CCE配套包（cce-install-E7xxx.tgz）上传到对应节点；
b. 将压缩包进行解压；
c. 进入解压后的目录执行 bash cce-install.sh。
(14) 配置双网卡绑定（可选）。
bond支持mode0和mode4，请以p开头的名称命名bond，例如：pbond0。
(15) 检查NetworkManager服务状态。
系统安装完成后，需要确保NetworkManager服务正常运行，否则会导致平台集群部署失败。检查方法：
执行命令systemctl status NetworkManager，如果状态不是正常运行，则执行命令systemctl enable NetworkManager和systemctl start NetworkManager，启用NetworkManager服务并使其正常运行。
将下载完成Kylin Linux Advanced Server V10 (Lance)的安装文件挂载到光驱后启动服务器，选择从光驱/USB引导后，进入平台安装向导界面。
安装iso时只需要安装系统盘即可。
系统盘必须选择第一块盘（比如sda），否则会造成操作系统启动失败。
(2) 选择语言。
引导安装后会进入语言选择界面，语言选择“English—English（United States）”，如图：
(3) Host name配置。
a. 单击<NETWORK & HOST NAME>配置项，弹出配置网络与主机名窗口，如下图所示：
b. 在Host name文本框中配置服务器的主机名。
同一集群中节点的主机名不能相同，主机名应由小写字母或数字组成，必须以小写字母开头，可以包含括号中的英文符号（-.），长度4-28位，且不能设置为以下值：controller、controllers、worker、workers、master、masters、new_node、 new_nodes、etcd、etcds、node、 nodes、new_master、new_masters、cloudos。若修改主机名，请在修改后单击<Apply>按钮。修改后可在右侧的“Current host name”栏中查看目前的主机名。
(4) 配置管理/集群网卡。
a. 选择管理/集群网连接的网卡，单击<Configure>按钮弹出网卡配置窗口，如下图所示：
这里的Connection name不建议更改，要求必须以e开头、p开头或者bond开头。
b. 选择“General”选项卡，选中“Connect Automatically with priority”选项，如下图所示：
c. 选择“IPv4 Settings”选项卡，在“Method”下拉菜单中选择“Manual”选项，单击<Add>按钮，配置IPv4地址、掩码、网关，并选中“Require IPv4 addressing for this connection to complete”选项，单击<Save>按钮保存，如下图所示：
管理网卡必须配置网关，多网卡时只配置一个网关，如无真实网关可配置虚拟网关地址占位，否则会导致集群部署失败。
(5) 配置存储网卡（可选）。
平台支持存储业务网与管理网复用，如果存储业务网与管理网不复用，用户规划了独立的存储网络，则需要服务器加装存储网卡并进行相应网络配置，配置过程请参考上面管理网卡配置过程。
(6) 单击左上角的<Done>按钮完成网络配置，如下图所示：
目前仅IPv4地址的配置有效，暂不支持IPv6地址。
配置IP地址时，可能会出现不能SAVE（保存）配置的情况，请删除当前配置后再重新配置。
网络配置完成后，请将网络连接配置为ON状态（
）。
(7) 软件选择。
a. 单击<Software Selection>配置项，弹出软件选择窗口，如下图所示：
b. 进入软件页面后进行软件选择配置，左侧基本环境（Base Environment）选择Server，右侧选择工具包选择 Network File System Client、Performance Tools和Development Tools。可根据实际需求选择图形界面 （Server with UKUI GUI），或别的选装工具包。
(8) 集群节点的系统盘分区配置。
· Default集群的控制节点，与default工作节点和其他自定义的CCE集群的节点的分区不同。
· 分区会导致磁盘上原有数据丢失，如磁盘已经存在分区信息，请先全部删除。
· legacy启动模式与UEFI启动模式的启动分区不同其他分区两种模式无区别。
节点分区说明：
default集群的控制节点，与default集群工作节点以及CCE集群的节点，对磁盘分区的要求不同。
表15-3 default集群控制节点分区及容量（UEFI和BIOS根据实际情况二选一）
|
名称 |
Device Type |
File System |
容量 |
挂载点 |
|
BIOS Boot（legacy模式） |
Standard Partition |
BIOS Boot |
2M |
不需配置 |
|
/boot/efi（UEFI模式） |
Standard Partition |
EFI System Partition |
2G |
/boot/efi |
|
boot |
Standard Partition |
ext4 |
2G |
/boot |
|
root |
lvm |
ext4 |
150G |
/ |
|
mysql |
lvm |
ext4 |
100G |
/opt/h3cloud/mysql |
|
log |
lvm |
ext4 |
40G |
/var/log |
|
containerd |
lvm |
ext4 |
剩余容量 |
/var/lib/containerd |
表15-4 default工作节点以及cce节点分区及容量（UEFI和BIOS根据实际情况二选一）
|
名称 |
Device Type |
File System |
容量 |
挂载点 |
|
BIOS Boot（legacy模式） |
Standard Partition |
BIOS Boot |
2M |
不需配置 |
|
/boot/efi（UEFI模式） |
Standard Partition |
EFI System Partition |
2G |
/boot/efi |
|
boot |
Standard Partition |
ext4 |
2G |
/boot |
|
root |
lvm |
ext4 |
剩余容量 |
/ |
a. 单击<Installation Destination>配置项，弹出磁盘分区窗口，如下图所示：
b. 选中规划的系统盘，“Storage Configuration”选择“Custom”，如图：
后续的分区中的挂载路径、容量、类型、文件系统、卷组（若cloudos的卷组不存在则需要自己创建）、名称必须按要求进行配置，错一个字符都有可能导致功能异常。
c. 启动分区（legacy模式），节点主机的启动模式为legacy时，在对系统盘进行分区需要设置一个BIOS Boot分区，容量、类型以及文件系统的具体配置如下：
d. 启动分区（UEFI模式），若节点主机的启动模式为UEFI时，在对系统盘进行分区需要设置一个挂载路径为/boot/efi的分区，挂载路径、容量、类型、文件系统的具体配置如下：
e. boot分区，新增一个boot分区，挂载路径、容量、类型、文件系统的具体配置如下：
f. root分区，新增一个root分区，挂载路径、容量、类型、文件系统、卷组（若cloudos的卷组不存在则需要自己创建）、名称的具体配置如下：
g. mysql分区，新增一个mysql分区，挂载路径、容量、类型、文件系统、卷组（若cloudos的卷组不存在则需要自己创建）、名称的具体配置如下：
h. log分区，新增一个log分区，挂载路径、容量、类型、文件系统、卷组（若cloudos的卷组不存在则需要自己创建）、名称的具体配置如下：
i. containerd分区，新增一个containerd分区，挂载路径、容量、类型、文件系统、卷组（若cloudos的卷组不存在则需要自己创建）、名称的具体配置如下：
j. 确认分区，分区完成后，点击左上角的<Done>，在弹出的页面点击<Accept Changes>。
(9) 设置root密码。
a. 单击<Root Password>配置项，弹出设置root账号密码窗口，如下图所示：
(10) 设置时区。
a. 单击<Time&Date>按钮进行时区和时间的设置，时区设置为Asia\Shanghai，时间设置与目标时钟源一致。
(11) 安装过程。
a. 以上配置项配置完成后，界面如下图所示，单击<Begin Installation>按钮开始安装。
b. 安装过程如图所示：
c. 安装完成，点击右下角的“Reboot System”，进行操作系统重启。
平台部署完成前不得修改密码。
(12) 执行安装脚本（default集群的节点执行此步骤）。
a. 将准备的平台安装包（CloudOS-PLAT-E7xxxx.iso）上传到对应节点；
b. 在节点上执行mkdir -p /root/isomount；
c. 将ISO文件挂载到/root/isomount；
d. 进入/root/isomount/tools目录，执行bash install.sh，执行过程中，如果是装default集群的控制节点，则输入c后回车，如果是装default集群的控制节点，则输入w后回车。
(13) 执行安装脚本（CCE节点执行此步骤）。
a. 将准备的CCE配套包（cce-install-E7xxx.tgz）上传到对应节点；
b. 将压缩包进行解压；
c. 进入解压后的目录执行 bash cce-install.sh.
(14) 配置双网卡绑定（可选）。
bond支持mode0和mode4，请以p开头的名称命名bond，例如：pbond0。
系统安装完成后，需要确保NetworkManager服务正常运行，否则会导致平台集群部署失败。检查方法：
执行命令systemctl status NetworkManager，如果状态不是正常运行，则执行命令systemctl enable NetworkManager和systemctl start NetworkManager，启用NetworkManager服务并使其正常运行。
下载Ubuntu20.04操作系统的安装包，通过虚拟机光驱挂载操作系统安装镜像，进入安装引导程序后：
(1) 语言选择English。
(3) 按下图步骤实例，根据实际情况配置节点IP地址。
(4) 跳过proxy配置。
(5) 跳过archive mirror配置，保持默认。
如果是新盘可以直接开始按要求分区，如果磁盘已经存在分区信息，应先全部删除或者备份，避免分区导致磁盘上原有数据丢失。
节点分区说明：
default集群的控制节点，与default集群工作节点以及CCE集群的节点，对磁盘分区的要求不同。
表15-5 default集群控制节点分区及容量（UEFI和BIOS根据实际情况二选一）
|
名称 |
Device Type |
File System |
容量 |
挂载点 |
|
boot |
lvm |
ext4 |
2G |
/boot |
|
root |
lvm |
ext4 |
150G |
/ |
|
mysql |
lvm |
ext4 |
100G |
/opt/h3cloud/mysql |
|
log |
lvm |
ext4 |
40G |
/var/log |
|
containerd |
lvm |
ext4 |
剩余容量 |
/var/lib/containerd |
表15-6 default工作节点以及cce节点分区及容量（UEFI和BIOS根据实际情况二选一）
|
名称 |
Device Type |
File System |
容量 |
挂载点 |
|
boot |
lvm |
ext4 |
2G |
/boot |
|
root |
lvm |
ext4 |
剩余容量 |
/ |
(7) 确认分区要求后，根据实际磁盘规划按如下步骤进行分区操作。
(8) 首先设置系统盘为启动设备。
(9) 将剩余空间全部创建为1个分区，不设置文件系统，不设置挂载点。
(10) 创建VG，VG名称必须为cloudos。
(11) 按照之前的分区说明开始创建lvm。
(12) 操作完成后，分区信息如下图所示（根据实际情况不同，部分卷的容量存在差异，属正常现象）。
(13) 分区信息确认完成后continue开始安装。
(14) 设置非root用户名及主机名。
主机名不能包含localhost或localdomain，也不能包含大写字母。
(15) 跳过token配置。
(16) 勾选安装OpenSSH server。
(17) 安装完成后重启。
(18) 修改root密码。
修改root密码为“Passw0rd@_”。
(19) 修改sshd配置。
执行su，切换至root用户。
修改sshd配置，编辑/etc/ssh/sshd_config，取消注释PermitRootLogin并修改为yes。
执行systemctl restart sshd重启sshd服务。
(20) 执行安装脚本（default集群的节点执行此步骤）。
a. 将准备的平台安装包（CloudOS-PLAT-E7xxxx.iso）上传到对应节点；
b. 在节点上执行mkdir -p /root/isomount；
c. 将ISO文件挂载到/root/isomount；
d. 进入/root/isomount/tools目录，执行bash install.sh，执行过程中，如果是装default集群的控制节点，则输入c后回车，如果是装default集群的控制节点，则输入w后回车（后续脚本执行过程中的弹框直接回车即可）。
(21) 执行安装脚本（CCE节点执行此步骤）。
a. 将准备的CCE配套包（cce-install-E7xxx.tgz）上传到对应节点；
b. 将压缩包进行解压；
(22) 进入解压后的目录执行 bash cce-install.sh。
bond支持mode0和mode4，请以p开头的名称命名bond，例如：pbond0。
系统安装完成后，需要确保NetworkManager服务正常运行，否则会导致平台集群部署失败。检查方法：
执行命令systemctl status NetworkManager，如果状态不是正常运行，则执行命令systemctl enable NetworkManager和systemctl start NetworkManager，启用NetworkManager服务并使其正常运行。
在部署前，可以对硬盘进行IO基准测试，需要测试工具fio。
(1) 新建临时目录，如：/testetcd，将目标磁盘格式化后，mount到该挂载点。
(2) 测试时进入磁盘的挂载点/testetcd。
(3) 创建目录test-data。
(4) 执行如下测试命令。
¡ fio --rw=write --ioengine=sync --fdatasync=1 --directory=test-data --size=22m --bs=2300 --name=mytest
(5) 测试结果如下，需关注fdatasync指标中的“99.00th”，这个指标的含义是99%的缓存数据一次落盘的周期都在这个值范围内。请注意，此处单位都是微秒。
fsync/fdatasync/sync_file_range:
sync (usec): min=534, max=15766, avg=1273.08, stdev=1084.70
sync percentiles (usec):
| 1.00th=[ 553], 5.00th=[ 578], 10.00th=[ 594], 20.00th=[ 627],
| 30.00th=[ 709], 40.00th=[ 750], 50.00th=[ 783], 60.00th=[ 1549],
| 70.00th=[ 1729], 80.00th=[ 1991], 90.00th=[ 2180], 95.00th=[ 2278],
| 99.00th=[ 2376], 99.50th=[ 9634], 99.90th=[15795], 99.95th=[15795],
| 99.99th=[15795]
从实例的测试结果中我们可以得知这次测试的结果是2.376ms，而etcd官方的推荐值是10ms，由此我们可以判断磁盘性能非常优秀。如测试结果不满足官方推荐值10ms，建议不使用该硬盘。
(6) 测试完成后，umount磁盘，删除测试目录/testetcd。
如果在5.1.3 部署节点步骤(3)中由于操作失误，选择了错误的磁盘，需要重新配置，请按照如下步骤执行，所有控制节点都需要执行。
(1) 分别登录各控制节点的后台，执行df -h | grep etcd，可以看到两个etcd相关的盘，例如/dev/sdb和/dev/sdc。
[root@d030sp01node1 ~]# df -h |grep etcd
/dev/sdb1 100G 45M 99G 1% /d030sp01node1.etcd
/dev/sdc1 100G 45M 99G 1% /var/lib/etcd
(2) 执行umount /dev/sdb和umount /dev/sdc，需根据第一步的实际操作结果修改此次操作命令。
[root@d030sp01node1 ~]# umount /dev/sdb1
[root@d030sp01node1 ~]# umount /dev/sdc1
(3) 打开/etc/fstab文件，删除两个etcd相关记录的行，保存退出。
该操作只能在集群部署前操作，集群部署后需要进行etcd数据迁移操作，请联系技术支持工程师寻求帮助。
不同款型规格的资料略有差异, 详细信息请向具体销售和400咨询。H3C保留在没有任何通知或提示的情况下对资料内容进行修改的权利!
支持
