• 产品与解决方案
  • 行业解决方案
  • 服务
  • 支持
  • 合作伙伴
  • 关于我们

H3C 中间件 安装部署手册 E5135-5W102

01-正文

本章节下载  (3.55 MB)

01-正文

目 

1 概述

1.1 适用范围

1.2 相关概念

2 部署说明

2.1 软件列表

2.2 浏览器要求

3 部署CloudOS

3.1 安装CloudOS服务器

3.2 部署CloudOS平台

3.3 部署CloudOS IaaS

4 部署Base

4.1 部署前必读

4.2 准备共享存储卷

4.2.2 添加共享存储卷

4.3 部署Base包

4.3.1 上传Base包

4.3.2 部署Base安装包

4.3.3 部署后检查

5 部署Kafka

5.1 Kafka部署流程

5.2 Kafka安装包

5.3 部署Kafka前必读

5.4 部署Kafka安装包

5.5 部署Kafka集群

5.5.1 部署Kafka集群前要求

5.5.2 部署Kafka集群前准备

5.5.3 新建Kafka集群

5.6 其他集群配置说明

5.6.1 安全管理

5.6.2 开启Kerberos

5.6.3 开启审计管理

5.6.4 开启权限管理

6 部署RabbitMQ

6.1 RabbitMQ部署流程

6.2 RabbitMQ安装包

6.3 部署RabbitMQ前必读

6.4 部署RabbitMQ安装包

6.5 部署RabbitMQ集群

6.5.1 部署RabbitMQ集群前要求

6.5.2 部署RabbitMQ集群准备

6.5.3 新建RabbitMQ集群

7 部署ActiveMQ

7.1 ActiveMQ部署流程

7.2 ActiveMQ安装包

7.3 部署ActiveMQ前必读

7.4 部署ActiveMQ安装包

7.5 部署ActiveMQ集群

7.5.1 部署ActiveMQ集群前要求

7.5.2 部署ActiveMQ集群准备

7.5.3 新建ActiveMQ集群

8 部署ZooKeeper

8.1 ZooKeeper部署流程

8.2 ZooKeeper安装包

8.3 部署ZooKeeper前必读

8.4 部署ZooKeeper安装包

8.5 部署ZooKeeper集群

8.5.1 部署ZooKeeper集群前要求

8.5.2 部署Zookeeper集群前准备

8.5.3 新建ZooKeeper集群

9 部署RocketMQ

9.1 RocketMQ部署流程

9.2 RocketMQ安装包

9.3 部署RocketMQ前必读

9.4 部署RocketMQ安装包

9.5 部署RocketMQ集群

9.5.1 部署RocketMQ集群前要求

9.5.2 部署RocketMQ集群准备

9.5.3 新建RocketMQ集群

10 部署Elasticsearch

10.1 Elasticsearch部署流程

10.2 Elasticsearch安装包

10.3 部署Elasticsearch前必读

10.4 部署Elasticsearch安装包

10.5 部署Elasticsearch集群

10.5.1 部署Elasticsearch集群前要求

10.5.2 部署Elasticsearch集群准备

10.5.3 新建Elasticsearch集群

11 配置License

11.1 License远程授权操作

11.2 配置License

12 安装后检查

12.1 主机检查

12.2 组件检查

12.3 数据盘检查

12.3.1 Kafka集群数据存储位置检查

12.3.2 RabbitMQ集群数据存储位置检查

12.3.3 RocketMQ集群数据存储位置检查

12.3.4 Elasticsearch集群数据存储位置检查

13 卸载

13.1 删除集群

13.2 删除云服务

14 常见问题解答

14.1 查看组件的日志信息

 


1 概述

1.1  适用范围

本手册适用于中间件云服务的安装部署指导,包括:

·     部署Kafka

Kafka是一个基于ZooKeeper的分布式消息流平台,Kafka的消息具有多分区,多副本特点。Kafka同时也是一款开源的基于发布订阅模式、为解决应用耦合和流量削峰而存在的分布式消息系统。

·     部署RabbitMQ

RabbitMQ是实现了高级消息队列协议(AMQP)的消息中间件,使用Erlang语言开发。RabbitMQ作为目前应用相当广泛的消息中间件,在企业级应用、微服务应用中充当着重要的角色。

·     部署ActiveMQ

ActiveMQ遵循JMS1.1规范(Java Message Service),是消息队列服务和面向消息中间件(MOM)的最终实现,它为企业消息传递提供了高可用、可扩展性、稳定性和安全保障。

·     部署ZooKeeper

ZooKeeper是一个分布式的应用程序协调服务。它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。

·     部署RocketMQ

RocketMQ是一个统一消息引擎,轻量级数据处理平台,具有事务消息、延迟消息、顺序消息等功能的高性能消息中间件。

·     部署Elasticsearch

Elasticsearch是一个基于Apache Lucene的搜索和数据分析工具。Elasticsearch使用Lucene作为其核心来实现所有索引和搜索的功能,它通过简单的RESTful API来屏蔽Lucene的复杂性,从而让全文搜索变得简单。

1.2  相关概念

表1-1 相关术语说明

术语

说明

集群

通过Kafka、RabbitMQ、ActiveMQ、ZooKeeper、RocketMQ、Elasticsearch部署/管理的中间件服务

KaaS集群

Kubernetes as a Service,是基于K8s环境的KaaS集群。KaaS集群是容器集群运行的环境。

进程

进程是组件的组成部分,每个组件由一个或多个进程组成

实例

组件中的进程部署在不同节点上,将节点划分为不同的实例

集群状态

健康

集群处于“运行中”状态时,对应集群属于健康集群

不健康

集群处于非运行中的状态时,对应集群属于不健康集群

 


2 部署说明

注意

部署Kafka、RabbitMQ、ActiveMQ、ZooKeeper、RocketMQ、Elasticsearch云服务时,建议单个串行部署。

 

2.1  软件列表

部署Kafka、RabbitMQ、ActiveMQ、ZooKeeper、RocketMQ、Elasticsearch时,需要准备的软件安装包如表2-1所示。

表2-1 软件列表

软件

安装包名称

用途说明

获取方式

Base安装包

cloudos-mqs-base-<version>.zip

用于安装MQS部分云服务的公共依赖

由H3C提供

Kafka安装包

cloudos-mqs-kafka-<version>.zip

用于安装Kafka

由H3C提供

RabbitMQ安装包

cloudos-mqs-rabbitmq-<version>.zip

用于安装RabbitMQ

由H3C提供

ActiveMQ安装包

cloudos-mqs-activemq-<version>.zip

用于安装ActiveMQ

由H3C提供

ZooKeeper安装包

cloudos-mqs-zookeeper-<version>.zip

用于安装ZooKeeper

由H3C提供

RocketMQ安装包

cloudos-mqs-rocketmq-<version>.zip

用于安装RocketMQ

由H3C提供

Elasticsearch安装包

cloudos-mqs-elasticsearch-<version>.zip

用于安装Elasticsearch

由H3C提供

 

2.2  浏览器要求

访问管理页面时,支持的浏览器如下:

·     Chrome 68及以上版本


3 部署CloudOS

3.1  安装CloudOS服务器

注意

·     关于CloudOS服务器的安装指导和注意事项,详情请参见H3C CloudOS产品相关文档。

·     部署Kafka、RabbitMQ、ActiveMQ、ZooKeeper、RocketMQ、Elasticsearch时,对CloudOS服务器的安装无特别要求。

 

3.2  部署CloudOS平台

注意

·     关于CloudOS平台的部署指导,详情请参见H3C CloudOS产品相关文档。

·     部署Kafka、RabbitMQ、ActiveMQ、ZooKeeper、RocketMQ、Elasticsearch时,对CloudOS平台的安装无特别要求。

 

CloudOS平台部署成功后,即可访问管理页面。在管理页面上,可完成以下操作:

·     部署CloudOS IaaS

·     部署Base

·     部署Kafka、RabbitMQ、ActiveMQ、ZooKeeper、RocketMQ、Elasticsearch云服务

·     部署集群、管理集群、管理资源/权限、管理工单/流程等

3.3  部署CloudOS IaaS

说明

·     关于CloudOS IaaS的部署指导,详情请参见H3C CloudOS产品相关文档。

·     部署Kafka、RabbitMQ、ActiveMQ、ZooKeeper、RocketMQ、Elasticsearch时,对CloudOS IaaS的安装无特别要求。

 

CloudOS IaaS部署成功后,可提供部署Kafka、RabbitMQ、ActiveMQ、ZooKeeper、RocketMQ、Elasticsearch时所需要的裸金属资源或虚拟机资源。关于裸金属资源或虚拟机资源的配置方法详情,请参见CloudOS云操作系统用户指南


4 部署Base

注意

·     CloudOS MQS Base基础依赖包(以下简称Base包)提供Kafka、RabbitMQ、ActiveMQ、ZooKeeper、RocketMQ、Elasticsearch集群部署时的依赖、主机监控及HTTP服务等公共部分。

·     Kafka、RabbitMQ、ActiveMQ、ZooKeeper、RocketMQ、Elasticsearch云服务都依赖Base包,在同一个CloudOS系统中,Base仅需部署一次。若CloudOS系统中已部署过Base,请直接跳过此章节即可。

·     部署CloudOS MQS Base基础依赖包时,需同时配套CloudOS Plat和CloudOS IaaS版本使用,即安装Base包之前需要先完成CloudOS Plat(此时还需保证系统组件包harbor也已经安装成功)和CloudOS IaaS的部署。

·     MQS产品中各个云服务与Base的依赖关系,详情可查阅各个云服务部署对应的章节说明。

 

4.1  部署前必读

·     在同一个CloudOS系统中,当多个云服务都依赖Base时,Base仅需部署一次。

·     部署Base时,需要提前准备独立的共享存储服务器,以满足申请共享存储卷的使用需求。Base对共享存储的要求请参见4.2  准备共享存储卷

4.2  准备共享存储

注意

·     外部共享存储如iSCSI、FC等,存储设备需要与CloudOS平台进行映射操作,否则CloudOS平台将无法识别该存储卷,具体映射存储卷的方式,请参见《H3C CloudOS 5.0 云操作系统部署指导》

·     增加共享存储卷时,因所有共享存储卷均需进行格式化操作,所以请务必确认存储卷中是否存在需要备份的数据,若有请将数据迁移至其他设备。

 

Base采用共享存储,部署Base包前,需要提前准备共享存储卷,用于存储监控数据或日志文件。需准备的共享存储卷和建议大小如表4-1所示。

表4-1 cloudos-mqs-base包共享存储要求

类别

推荐大小

说明

mqs-yum

≥100G

用于存储云服务安装包

mqs-monitor

MQS集群节点数*1G

用于存储具体服务的监控数据

 

4.2.2  添加共享存储卷

注意

请检查存储卷的容量是否满足要求,不满足要求的存储卷会造成软件运行故障。具体要求请参见表4-1

 

部署Base包前,需要添加共享存储卷。根据要求准备共享存储卷后,即可访问管理页面将准备好的2个共享存储卷分别添加到CloudOS系统中,步骤如下:

(1)     在顶部导航栏选择[资源]菜单项进入资源管理页面。

(2)     在左侧导航树中选择[容器/Default],进入默认容器页面。

(3)     在默认容器页面,选择[存储]页签,进入存储管理页面,根据存储卷类型选择PV类型,单击<增加存储卷>按钮,分别将准备好的2个存储卷增加到CloudOS系统中。

图4-1 增加共享存储卷

 

(3)      配置完成后,单击<确定>按钮,即可增加存储卷成功。

4.3  部署Base

4.3.1  上传Base

上传cloudos-mqs-base-<version>.zip安装包,步骤如下:

(1)     访问管理页面,在[系统/服务与组件/部署向导]页面,可查看软件安装包的存放位置。

(2)     按照部署向导页面的提示信息,将软件安装包上传至指定路径下。

(3)     上传完成后,单击<刷新列表>按钮即可在管理页面上查看到软件安装包的相关信息。

图4-2 上传安装包

【说明】下图仅供参考,实际以用户使用的版本界面为准。

   

 

4.3.2  部署Base安装包

部署cloudos-mqs-base-<version>.zip安装包,步骤如下:

(1)     访问管理页面,在[系统/服务与组件/部署向导]页面,勾选OS service下的cloudos-mqs-base后,可对该服务进行相关配置。

(2)     在高级配置页面根据推荐大小选择已配置的共享存储卷,具体要求如表4-1所示。

(3)     配置完成后,单击页面右下角的<立即部署>按钮,即可启动部署安装包。部署成功后,Base默认为启用状态。

图4-3 部署安装包

【说明】下图仅供参考,实际以用户使用的版本界面为准。

 

4.3.3  部署后检查

Base包部署完成后,在[系统/服务与组件/服务列表]页面,可检查Base版本和服务状态,如图4-4所示。

图4-4 Base包及版本号

【说明】下图仅供参考,实际以用户使用的版本界面为准。

 

单击服务名称进入云服务详情页面,在[服务]页签中,检查Base包中所含服务状态是否均为正常,如图4-5所示。

图4-5 检查服务状态

 


5 部署Kafka

Kafka是一个基于ZooKeeper的分布式消息流平台,Kafka的消息具有多分区,多副本特点。Kafka同时也是一款开源的基于发布订阅模式、为解决应用耦合和流量削峰而存在的分布式消息系统。

5.1  Kafka部署流程

图5-1 Kafka部署流程总图

 

表5-1 部署Kafka流程说明

步骤

是否必选

描述

开始

/

/

部署CloudOS

安装CloudOS服务器

必选

CloudOS平台是部署Kafka云服务的基础底座,CloudOS IaaS提供部署Kafka云服务时使用的云资源,因此在部署Kafka之前,必须完成CloudOS平台和CloudOS IaaS的部署。

·     部署Kafka时,对CloudOS平台和CloudOS IaaS的部署没有任何特殊要求,所以CloudOS平台和CloudOS IaaS的部署指导和详情直接参考CloudOS产品相关文档即可。

·     关于部署CloudOS平台和CloudOS IaaS时,与Kafka相关的重点关注,详情请参见3 部署CloudOS

部署CloudOS平台

部署CloudOS IaaS

部署Base

必选

Base提供部署Kafka云服务时的相关依赖等,因此在部署Kafka之前,必须完成Base的部署,详情请参见4 部署Base

部署Kafka安装包

上传安装包

必选

访问CloudOS管理页面,完成Kafka安装包的上传和部署,详情请参见5.4  部署Kafka安装包

Kafka安装包部署成功后,在管理页面云服务的下拉菜单中可查看到Kafka云服务。

部署安装包

必选

配置License

必选

生产环境中,Kafka需要经过正式License授权之后,才可永久使用。详情请参见11 配置License

部署Kafka集群

部署集群前要求

网络要求

必选

部署Kafka集群之前,必须提前关注部署前要求,包括:网络要求、主机硬件要求、KaaS集群要求等,详情请参见5.5.1  部署Kafka集群前要求

主机硬件要求

KaaS集群要求

部署集群前准备

准备云资源(虚拟机、裸金属或KaaS集群)

必选

Kafka裸金属和虚拟机集群所用的云服务主机资源直接使用CloudOS IaaS纳管的资源,根据实际情况二选一即可。Kafka容器集群使用云容器引擎中创建的KaaS集群资源。主机资源或KaaS集群准备完成以后,才可启动Kafka集群部署,详情请参见5.5.2  部署Kafka集群前准备

新建集群

必选

访问CloudOS管理页面,完成Kafka集群的创建,详情请参见5.5.3  新建Kafka集群

结束

/

/

 

5.2  Kafka安装包

部署Kafka时,需要准备的软件安装包如表5-2所示。

表5-2 软件列表

软件

安装包名称

用途说明

获取方式

Kafka安装包

cloudos-mqs-kafka-<version>.zip

用于安装Kafka

由H3C提供

 

注意

Kafka安装包采用云形态进行部署,具有以下要求:

·     部署Kafka安装包时,要求系统中必须已部署CloudOS Plat、CloudOS IaaS、Base。即部署顺序为:1)部署CloudOS Plat、2)部署CloudOS IaaS、3)部署Base、4)部署Kafka。

·     部署Kafka虚拟机或裸金属集群时,主机资源直接使用CloudOS IaaS纳管的云资源。部署Kafka容器集群时,使用云容器引擎创建的KaaS集群资源,根据实际情况进行选择即可。

·     部署Kafka容器集群时,需使用已创建好的KaaS集群,KaaS集群的创建可详见H3C CloudOS产品相关文档。

 

5.3  部署Kafka前必读

部署Kafka集群前,必须考虑以下要求:

·     在Kafka云服务中,涉及告警监控的操作,需获取高级运维功能License授权后才可以正常使用相应功能。

·     部署Kafka容器集群前,需要先创建KaaS集群。在云平台[云服务/云容器引擎/集群]新建KaaS集群时要求Kubernetes版本1.15.0+。

·     创建KaaS集群之后,需在KaaS集群中创建StorageClass。新建容器集群时,依赖该StorageClass。

·     当资源模式为虚拟机或裸金属集群时,Kafka集群至少部署在3个节点上,系统内置了组件部署策略。根据现场实际情况和业务需求,进行Kafka集群规划时需关注集群节点数目。

·     新建Kafka虚拟机和裸金属集群时默认开启安全管理。若在新建集群时没有开启安全管理,则后续在使用过程中将再也无法开启。所以在生产环境中,强烈建议新建非容器集群时开启安全管理。

·     Kafka虚拟机和裸金属集群的主机资源直接使用CloudOS IaaS纳管的云资源。Kafka容器集群使用云容器引擎创建的KaaS集群资源,根据实际情况进行选择即可,需要注意:

¡     Kafka集群中的虚拟机、裸金属和KaaS集群节点,网络要求和CloudOS集群中主机的网络互通。

¡     集群部署在虚拟机上时,需要关注主机节点的硬件配置要求。

【说明】虚拟机的节点规格可以在云平台的[云服务/云主机]管理页面的左侧导航树中进入[服务配置/云主机规格/组合规格]页面进行自定义新增,超过最小规格要求的节点规格才可被识别到。

¡     集群部署在裸金属上时,需要关注主机节点的硬件配置要求以及磁盘RAID方案。

【说明】裸金属的节点规格根据硬件配置自动获取,规格数据来自云平台的[资源/裸金属资源池]中处于“可分配”状态的节点。

¡     集群部署在KaaS集群上时,需要关注KaaS集群工作节点的硬件配置要求。

【说明】KaaS集群的规格在创建KaaS集群时定义,可通过云平台的[云服务/云容器引擎/集群]创建KaaS集群时定义规格或创建成功后单击对应的集群名查看详情。工作节点可以在创建KaaS集群时同步创建,也可以在已创建好的KaaS里新增工作节点。

5.4  部署Kafka安装包

1. 上传安装包

访问管理页面,上传Kafka云服务安装包,步骤如下:

(1)     在顶部导航栏选择[系统]菜单项进入系统管理页面。

(2)     在左侧导航树中选择[服务与组件/部署向导],进入部署向导页面。

(3)     在部署向导页面,根据页面上提示上传cloudos-mqs-kafka安装包到对应目录下。上传步骤如下:

通过sftp方式将cloudos-mqs-kafka服务安装包上传至sftp://<IP>:/opt/sys-app/package-files文件夹下。

(4)     上传完成后,刷新列表并选择cloudos-mqs-kafka服务安装配置。

图5-2 上传安装包

【说明】下图仅供参考,实际以用户使用的版本界面为准。

 

2. 部署安装包

访问管理页面,部署Kafka云服务安装包,步骤如下:

(1)     在顶部导航栏选择[系统]菜单项进入系统管理页面。

(2)     在左侧导航树中选择[服务与组件/部署向导],进入部署向导页面。

(3)     勾选列表中的cloudos-mqs-kafka安装包,此时按需求选择安装包版本,部署区域默认由系统自动分配。

(4)     安装包选择完成后,Kafka安装包无高级配置参数,此时可直接单击<立即部署>按钮,等待部署成功。

(5)     安装包部署成功后,此安装包内的Kafka云服务默认为启用状态,此时可在顶部导航栏云服务的下拉列表中进行查看。

图5-3 部署安装包

【说明】下图仅供参考,实际以用户使用的版本界面为准。

 

5.5  部署Kafka集群

5.5.1  部署Kafka集群前要求

1. 网络要求

·     建议Kafka虚拟机和裸金属集群的主机节点与CloudOS平台(CloudOS IaaS)在同一网段,即:Kafka集群的主机节点,网络要求和CloudOS集群中主机的网络互通。

·     配置集群的管理网络,需保证通过该网络创建的主机和云平台之间网络互通。管理网络需提前在云平台的[云服务/经典网络]中进行准备。

·     部署容器集群时,建议KaaS集群与CloudOS平台在同一网段,即:KaaS集群网络要求和CloudOS集群中主机的网络互通。

·     网络带宽要求在10Gb/s以上。

·     Kafka集群中各节点之间不能跨越防火墙。

2. 主机硬件要求

注意

·     部署Kafka裸金属或虚拟机集群前,需要提前将裸金属加入到CloudOS IaaS的纳管中。

·     新建Kafka集群时,同一个Kafka集群中仅支持使用一种类型的云资源。

 

(1)     集群部署在虚拟机上时服务器硬件配置要求

在Kafka集群中,虚拟机的节点规格要求最小为2核CPU、8GB内存、40GB硬盘。虚拟机的节点规格可以在云平台的[云服务/云主机]管理页面的左侧导航树中进入[服务配置/云主机规格/组合规格]页面进行自定义新增,超过最小规格要求的节点规格才可被识别到。

(2)     集群部署在裸金属上时服务器硬件配置要求

¡     在Kafka集群中,裸金属的节点规格根据硬件配置自动获取,规格数据来自云平台的[资源/裸金属资源池]中处于“可分配”状态的节点。

¡     系统盘与启动盘需要一致,系统盘是裸金属资源池中节点设置指定的系统盘,启动盘是服务器的启动盘。

¡     使用裸金属资源时,Kafka集群各节点的磁盘RAID整体原则如下:

-     操作系统盘做RAID1。

-     Kafka集群数据盘建议做单盘RAID0或直接裸磁盘(不做RAID),如果规划的topic副本数小于2,建议做RAID5。

(3)     集群部署在KaaS集群上时,KaaS集群硬件配置要求

在Kafka容器集群中,实例的规格要求最小为1核CPU、4GB内存、128GB硬盘。KaaS集群的规格在创建KaaS集群时确定,通过云平台的[云服务/云容器引擎] 管理页面的左侧导航树中进入[云容器引擎/集群]页面进行创建KaaS集群,最小资源KaaS集群即可满足Kafka容器集群的资源需求。

表5-3 服务器硬件配置要求

配置项

最低配置要求

型号

主流服务器厂商x86服务器

数量

≥3台,单台配置如下

CPU

Intel Xeon V3系列或更新型号,总核数≥2路10核

主频:≥2.0 GHz

内存

≥64GB

系统盘

HDD(至少2块),推荐:每块盘容量≥600GB,转速≥10000r/min

数据盘

支持HDD(至少1块,可参考业务数据量规划磁盘数量和容量),推荐:转速≥10000r/min

支持SSD

RAID卡

缓存: ≥1GB,支持掉电保护

网卡

≥ 2个1000 Base-T 接口

≥ 2个10 Gbps SFP+ 接口(可选)

 

5.5.2  部署Kafka集群前准备

注意

·     新建Kafka集群时,同一个Kafka集群中仅支持使用一种类型的云资源。

·     一个Kafka集群至少部署在3个节点上,节点可以是裸金属、虚拟机和容器,根据实际使用需求任选其一即可。新建集群前,要求在云平台中已完成云资源的准备。

·     部署Kafka容器集群时,需要提前创建KaaS集群。在云平台[云服务/云容器引擎/集群]新建KaaS集群时要求Kubernetes版本1.15.0+。

·     创建KaaS集群之后,需在KaaS集群中创建StorageClass。新建容器集群时,依赖该StorageClass。

 

·     Kafka虚拟机和裸金属集群的主机资源直接使用CloudOS IaaS纳管的云资源。

·     Kafka容器集群使用云容器引擎创建的KaaS集群资源。

若云平台上已配置云资源,则Kafka集群可直接使用,关于Kafka对云资源的要求详情请参见5.5.1  2. 主机硬件要求。若云平台上未配置云资源,则在部署Kafka集群前,必须首先按要求准备云资源(根据实际需求,三选一即可),虚拟机、裸金属和KaaS集群资源的配置请参见CloudOS云操作系统用户指南。

5.5.3  新建Kafka集群

注意

·     普通用户新建集群时,需要走流程审批,待组织管理员审批通过后才能触发新建集群的操作。管理员用户新建集群时,会直接触发新建集群的操作。

·     若具有自定义角色的用户申请集群,需要为该用户的角色配置权限。如该用户为普通用户,创建自定义角色时需要为该角色配置申请创建集群权限;如该用户为管理员用户,创建自定义角色时需要为该角色配置创建集群权限。

·     集群名称具有唯一性,在CloudOS MQS的各中间件云服务之间,不支持创建同名集群。

·     新建集群需要提前对节点数量、是否开启安全管理等进行规划。

·     新建虚拟机或裸金属集群时默认开启安全管理。若在新建集群时没有开启安全管理,则后续在使用过程中将再也无法开启。所以在生产环境中,强烈建议新建集群时开启安全管理。

·     新建集群前,要求在云平台中已完成云资源的准备。云资源包括裸金属、虚拟机和KaaS集群三种,根据实际使用需求任选其一即可。

·     云主机初始化模式仅支持专业模式,驱动格式建议选择VFAT。用户可在[资源/虚拟机/计算节点]页面配置相应参数。

·     Kafka支持自定义镜像,自定义镜像需在创建集群前通过[云服务/镜像]上传至云平台,并在Kafka服务中通过[镜像管理/添加自定义镜像]添加到该服务中来。

·     在Kafka虚拟机集群中,虚拟机的节点规格要求最小为2核CPU、8GB内存、40GB硬盘。选择独立数据云盘时,建议使用4*12*30(即4核CPU*12GB内存*30GB硬盘)以上,最小节点规格为2*8*30(即2核CPU*8GB内存*30GB硬盘)。虚拟机的节点规格可以在云平台的[云服务/云主机]管理页面的左侧导航树中进入[服务配置/云主机规格/组合规格]页面进行自定义新增,超过最小规格要求的节点规格才可被识别到。

·     在Kafka裸金属集群中,裸金属的节点规格根据硬件配置自动获取,规格数据来自云平台的[资源/裸金属资源池]中处于“可分配”状态的节点。

·     在Kafka容器集群中,KaaS集群工作节点规格要求最小为8核CPU、32GB内存、100GB硬盘。

·     Kerberos环境下建议域名访问Kafka集群,需要配置kafka集群的hosts信息才可以访问;非Kerberos环境下支持IP访问Kafka集群。

·     在Kafka容器集群中,容器集群实例的规格要求最小为1核CPU、4GB内存、128GB硬盘,实例的规格阈值在集群创建页面已配置,按照页面要求配置即可。

·     新建集群时支持安装的组件类别和版本号,详情请以实际页面为准。

 

根据集群部署规划,在云资源准备完成以后,可新建Kafka集群。

访问管理页面,新建Kafka集群的步骤如下:

(1)     在顶部导航栏选择[云服务/消息中间件Kafka]菜单项进入对应管理页面。

(2)     在左侧导航树中选择[集群管理],进入集群管理页面,单击<新建集群>按钮,跳转至新建Kafka集群页面。

(3)     新建Kafka集群的向导包括以下3个配置步骤,根据页面提示配置对应参数项的值。

第一步:基础配置,参数说明如下:

·     基本信息

¡     集群名称:自定义输入符合命名规则的集群名称。

¡     资源模式:创建不同资源类型的集群,选择容器集群与选择虚拟机或裸金属集群的硬件配置不一样。按照实际需求,选择合适的资源模式。

¡     集群描述:自定义添加集群的描述信息,以便于快速了解集群相关信息。

¡     安装组件:虚拟机和裸金属集群缺省配置ZooKeeper、Kafka,容器集群缺省配置Kafka。

·     监控

¡     开启监控:选择是否打开集群监控,默认状态为开启,可自定义设置监控周期,开启监控,可监控Kafka服务的状态和主机使用状态等。

¡     监控周期:开启监控后能设置监控周期,通过修改监控数据的抓取频率。可选范围为15~300秒。

图5-4 虚拟机或裸金属集群基础配置

 

第二步:业务详情,当资源模式选择容器集群和选择虚拟机或裸金属集群时,业务详情配置参数不同。

虚拟机或裸金属资源模式业务详情参数说明如下:

·     网络

¡     资源区域:配置集群使用的资源区域,资源区域对应集群节点的虚拟化类型。资源区域需提前在云平台的[资源/可用域/计算可用域]中进行准备。

¡     虚拟化类型:当前版本中,仅支持CAS、VMware和BareMetal类型。其中:CAS、VMware类型对应的云资源为虚拟机,BareMetal类型对应的云资源为裸金属,请根据实际情况进行选择。

¡     网络:配置集群的管理网络。当未开启独立管理网络功能时,该参数可见。管理网络需提前在云平台的[云服务/经典网络]中进行准备。

【注意】目前不支持IPv6子网,只能选择配置了IPv4协议子网的经典网络。网络需保证通过该网络创建的主机和云平台之间网络互通。

¡     独立管理网络:开启表示启用集群节点双网络功能。开启后,需配置业务网络和独立管理网络;裸金属集群模式不支持独立管理网络功能。

-     独立管理网络:默认为经典网络,请选择一个经典网络作为独立管理网络。

-     业务网络:默认为经典网络,请选择一个经典网络作为集群业务网络。

【注意】

-     经典网络需要在云平台的[云服务/经典网络]中进行准备。

-     独立管理网络需保证通过该网络创建的主机和云平台之间网络互通,主机间管理网网络互通。

-     业务网络要求主机间业务网网络互通。

-     开启独立管理网时,创建出的主机默认路由是业务网网关,该情况可能会导致平台与主机间管理网不通,需在管理网的经典网络下配置主机的独立管理网到平台网络的附加路由。

-     独立管理网络和业务网络目前不支持IPv6子网,只能选择配置了IPv4协议子网的经典网络。

¡     密钥对:配置密钥对后可实现通过密钥文件直接进行集群主机的免密登录。密钥对需提前在云平台的[云服务/云主机/密钥对]中进行准备。

·     计算存储

¡     Kafka实例节点数:为保证Kafka数据高可用,实例个数至少配置3个,最多99个。

¡     集群VIP:当未开启独立管理网络,配置集群VIP,来自所选网络的子网。多子网时,必须指定VIP,单子网时,VIP可为空。

¡     集群管理网VIP:当开启独立管理网络,配置集群管理网VIP。来自所选独立管理网络的子网。如果所选独立管理网络当前为单子网,可不填,系统自动从该子网中选择一个IP地址作为集群管理网VIP;若多子网,则用户必须手动填写。

¡     Kafka实例节点反亲和:当虚拟化类型为CAS时可开启Kafka节点反亲和,开启反亲和后创建的虚拟机节点会调度到不同的CVK上。

¡     集群节点:新建Kafka集群时,集群节点数量至少为3个。集群节点包含多种类型,详情请参见表5-4

【注意】同一节点类型的节点规格必须完全一样,请根据实际情况进行选择。

表5-4 集群节点说明

节点类型

是否必选

选型说明

描述

Kafka实例

必选

Kafka运行实例

为保证Kafka数据高可用,实例个数至少配置3个,最多99;

当未开启独立管理网络,配置节点IP,如果所选网络有2个或以上子网,用户必须手动填写。

当已开启独立管理网络,需配置节点业务网IP和节点管理网IP,分别来自所选业务网络的子网和独立管理网络的子网。

·     节点业务网IP:若所选业务网络只有一个子网,可不填,由系统自动分配一个IP地址作为节点业务网IP;若有2个或以上子网,用户必须手动填写。

·     节点管理网IP:同理,若所选独立管理网络有2个或以上子网,用户必须手动填写。

专有ZooKeeper实例

可选

用来协调整个集群的实例,集群达到一定规模时,可单独部署ZooKeeper的实例

若配置专有ZooKeeper实例,则实例个数至少配置3个,且只能配置奇数个

【说明】

·     若未配置专有ZooKeeper实例,则ZooKeeper与Kafka部署在相同节点上

·     若配置专有ZooKeeper实例,则ZooKeeper与Kafka分开部署在不同节点上

 

¡     自定义镜像:不开启时集群创建使用服务内置的默认镜像。开启时,可指定自定义镜像来创建集群。自定义镜像需在创建集群前通过[云服务/镜像]上传至云平台,并通过kafka服务的[镜像管理/添加自定义镜像]添加到该服务中。

¡     独立数据云盘:勾选此项表示启用独立数据盘功能。

¡     硬盘类型:硬盘类型需提前在云平台的[云服务/云硬盘/服务配置/云硬盘类型]中进行创建置备云硬盘类型。

¡     数据云盘容量:用于指定数据云盘的容量大小。

¡     配额:表示用户所在组织可用的存储总容量配额。包含可用容量和总配额容量两部分。

¡     存储资源区域

-     资源区域:集群节点所在的资源区域。

-     虚拟化类型:集群节点所在的资源区域对应的虚拟化类型。

-     存储可用域:存储可用域提前在云平台的[资源/存储可用域]中进行准备。

-     存储池可用容量:集群节点所在资源区域对应的存储池可用容量大小。

-     申请容量:集群在某个资源区域下申请的存储容量总大小。

·     Kafka业务

¡     安全管理:虚拟机和裸金属集群可选择是否开启安全管理。若选择开启,则同时提供Kerberos认证、审计管理、权限管理功能,提供用户安全认证和数据安全访问等功能,保证数据安全性。

-     集群超级用户:开启安全管理时默认配置集群超级用户为kafka。该用户拥有创建topic、向任何topic生产数据、从任何topic消费数据等操作权限。

【说明】开启安全管理时,kafka用户会在[系统管理/用户管理]页面的用户列表中展示,可执行下载用户认证文件等操作。未开启安全管理时,集群所有用户均拥有创建topic、向任何topic生产数据、从任何topic消费数据的权限。

-     密码:配置集群超级用户kafka的密码,支持自定义输入符合规则的密码。

-     确认密码:重复输入集群超级用户kafka的密码,进行确认。

-     审计管理:选择集群是否开启审计管理。审计管理可以记录用户访问组件的信息,并提供界面化的查询功能。

-     Kerberos认证:开启安全管理时默认开启Kerberos认证(不支持关闭),提供用户安全认证方式功能。

-     权限管理:开启安全管理时默认开启权限管理(不支持关闭),提供数据的权限访问控制。

·     安装部署(虚拟机集群)

¡     自定义目录:开启时,可指定kafka服务安装时的数据目录和日志目录。

¡     数据目录:安装时的数据目录。

¡     日志目录:安装时的日志目录。

图5-5 虚拟机或裸金属集群硬件配置

 

当资源模式选择容器集群,业务详情参数说明如下:

·     KaaS集群:K8s集群,可通过[云服务\云容器引擎\集群\新建集群]进行创建,创建的Kafka集群运行在该K8s集群上。

注:在云平台的[云服务/云容器引擎/集群]新建集群时要求Kubernetes版本1.15.0+。

·     NameSpace:容器集群在KaaS集群中使用的命名空间。支持自定义命名空间,系统会自动创建自定义命名的空间。

·     存储:选择Kafka集群所用的存储类型。

¡     StorageClass:Kubernetes中用来自动创建PV的一种资源,该资源用来为集群提供存储空间。

注:创建KaaS集群之后,需在KaaS集群中创建该资源,新建容器集群时StorageClass下拉框显示创建的该资源。

¡     PV:输入KaaS集群中已有PV的label键值,绑定PV。

·     ZooKeeper地址:输入外部ZooKeeper地址或下拉选择KaaS集群中已有的ZooKeeper地址,供Kafka存储元数据使用。

·     Service名称:自定义创建Kafka集群的Service名称,即创建Kubernetes中的Service资源,提供一种对外访问地址。

·     HeadLess Service名称:自定义创建Kafka集群的HeadLess Service,即创建Kubernetes中的HeadLess Service资源,提供一种对外访问地址。

·     实例个数:可选3~9个实例数,即Kafka集群有多少个Broker节点。

·     实例规格:设置容器集群中每个实例的资源,最小规格要求1核CPU、4GB内存、128GB磁盘。

图5-6 容器集群业务详情配置

 

第三步:确认信息,查看集群的基础配置、业务详情的详细信息,若检查配置无误可单击<确认信息并创建>按钮启动创建集群,若检查配置有误可返回上一步进行修改。

(4)     创建集群启动后,会跳转至集群列表页面,等待一段时间集群即可创建完成。

5.6  其他集群配置说明

5.6.1  安全管理

表5-5 开启安全管理后提供的功能说明

功能

说明

Kerberos认证

Kerberos认证可以提供用户安全认证功能。

【说明】关于Kerberos认证开启后,对使用的影响详情请参见5.6.2  开启Kerberos

审计管理

审计管理可以记录用户访问Kafka某个主题的结果信息,并提供界面化的查询功能。

【说明】关于审计管理开启后,对使用的影响详情请参见5.6.3  开启审计管理

权限管理

权限管理可以提供Kafka某个主题的权限控制。

【说明】关于权限与密钥管理开启后,对使用的影响详情请参见5.6.4  开启权限管理

 

5.6.2  开启Kerberos

注意

·     新建Kafka集群时,若没有开启Kerberos认证,则后续在使用过程中将再也无法开启。所以在生产环境中,强烈建议新建集群时同时开启Kerberos认证。

·     Kerberos环境下建议使用域名访问Kafka集群,需要配置kafka集群的hosts信息才可以访问;非Kerberos环境下支持IP访问Kafka集群。

·     安全管理(Kerberos认证)开启之后,无法关闭/卸载。

 

集群开启Kerberos认证后,可能受影响的操作如下:

·     集群用户(包括超级用户、普通用户)均需要通过认证才可访问集群。

·     组件使用(管理/业务)方面的影响,详情请参见Kafka相关用户手册。

5.6.3  开启审计管理

注意

 

审计管理操作审计页面展示某用户在某时刻以某种操作访问Kafka上某个资源,以及该访问是否通过的审计信息,如图5-7所示。

图5-7 操作审计日志

 

5.6.4  开启权限管理

1. 权限管理

说明

·     新建Kafka集群时,若没有开启权限管理,则集群不可使用角色管理功能。

·     新建Kafka集群时,若没有开启权限管理,则后续在使用过程中将再也无法开启。

·     关于权限管理模块功能的配置或使用详情请参见产品在线联机帮助系统。

 

权限管理是安全管理的重要组成部分,在开启权限管理的集群中,权限基于角色进行统一管理,角色是权限的集合。一个角色可以同时拥有多个组件的资源权限。以角色作为权限集合的优势在于:

·     当多个用户对同一组件的同一资源有相同的权限时,只需要为这些用户绑定拥有该资源权限的角色,而不用分别为这些用户重复添加相同的权限。

·     对某一角色的权限进行修改后,所有绑定该角色的用户将会被统一修改权限,这样可以更加灵活方便的对用户进行权限管理。

 


6 部署RabbitMQ

RabbitMQ是实现了高级消息队列协议(AMQP)的消息中间件,使用Erlang语言开发。RabbitMQ作为目前应用相当广泛的消息中间件,在企业级应用、微服务应用中充当着重要的角色。

6.1  RabbitMQ部署流程

图6-1 RabbitMQ部署流程总图

 

表6-1 部署RabbitMQ流程说明

步骤

是否必选

描述

开始

/

/

部署CloudOS

安装CloudOS服务器

必选

CloudOS平台是部署RabbitMQ云服务的基础底座,CloudOS IaaS提供部署RabbitMQ云服务时使用的云资源,因此在部署RabbitMQ之前,必须完成CloudOS平台和CloudOS IaaS的部署。

·     部署RabbitMQ时,对CloudOS平台和CloudOS IaaS的部署没有任何特殊要求,所以CloudOS平台和CloudOS IaaS的部署指导和详情直接参照CloudOS产品相关文档即可。

·     关于部署CloudOS平台和CloudOS IaaS时,与RabbitMQ相关的重点关注,详情请参见3 部署CloudOS

部署CloudOS平台

部署CloudOS IaaS

部署Base

必选

Base提供部署RabbitMQ云服务时的相关依赖等,因此在部署RabbitMQ之前,必须完成Base的部署,详情请参见4 部署Base

部署RabbitMQ安装包

上传安装包

必选

访问CloudOS管理页面,完成RabbitMQ安装包的上传和部署,详情请参见6.4  部署RabbitMQ安装包

RabbitMQ安装包部署成功后,在管理页面云服务的下拉菜单中可查看到RabbitMQ云服务。

部署安装包

必选

配置License

必选

生产环境中,RabbitMQ需要经过正式License授权之后,才可永久使用。详情请参见11 配置License

部署RabbitMQ集群

部署集群前要求

网络要求

必选

部署RabbitMQ集群之前,必须提前关注部署前要求,包括:网络要求、主机硬件要求等,详情请参见6.5.1  部署RabbitMQ集群前要求

主机硬件要求

部署集群前准备

准备云资源(虚拟机或裸金属,二选一)

必选

RabbitMQ云服务主机资源直接使用CloudOS IaaS纳管的资源,包括裸金属和虚拟机两种,根据实际情况二选一即可。主机资源准备完成以后,才可启动RabbitMQ集群部署,详情请参见6.5.2  部署RabbitMQ集群准备

新建集群

必选

访问CloudOS管理页面,完成RabbitMQ集群的创建,详情请参见6.5.3  新建RabbitMQ集群

结束

/

/

 

6.2  RabbitMQ安装包

部署RabbitMQ时,需要准备的软件安装包如表6-2所示。

表6-2 软件列表

软件

安装包名称

用途说明

获取方式

RabbitMQ安装包

cloudos-mqs-rabbitmq-<version>.zip

用于安装RabbitMQ

由H3C提供

 

注意

RabbitMQ安装包采用云形态进行部署,具有以下要求:

·     部署RabbitMQ安装包时,要求系统中必须已部署CloudOS Plat、CloudOS IaaS、Base。即部署顺序为:1)部署CloudOS Plat、2)部署CloudOS IaaS、3)部署Base、4)部署RabbitMQ。

·     部署RabbitMQ集群时,主机资源直接使用CloudOS IaaS纳管的云资源,包括虚拟机和裸金属两种,根据实际情况进行选择即可。

 

6.3  部署RabbitMQ前必读

部署RabbitMQ集群前,必须考虑以下要求:

·     在RabbitMQ云服务中,涉及告警监控的操作,需获取高级运维功能License授权后才可以正常使用相应功能。

·     RabbitMQ集群包括单节点和集群两种模式。若采用单节点部署方式,则RabbitMQ集群部署在单节点上。若采用集群部署,每个RabbitMQ集群至少部署在3个节点上。系统内置了组件部署策略。根据现场实际情况和业务需求,进行RabbitMQ集群规划时需关注集群节点数目。

·     RabbitMQ集群主机资源直接使用CloudOS IaaS纳管的云资源,包括虚拟机和裸金属两种,根据实际情况进行选择即可,需要注意:

¡     RabbitMQ集群中的虚拟机或裸金属节点,网络要求和CloudOS集群中主机的网络互通。

¡     集群部署在虚拟机上时,需要关注主机节点的硬件配置要求。

【说明】虚拟机的节点规格可以在云平台的[云服务/云主机]管理页面的左侧导航树中进入[服务配置/云主机规格/组合规格]页面进行自定义新增,超过最小规格要求的节点规格才可被识别到。

¡     集群部署在裸金属上时,需要关注主机节点的硬件配置要求以及磁盘RAID方案。

【说明】裸金属的节点规格根据硬件配置自动获取,规格数据来自云平台的[资源/裸金属资源池]中处于“可分配”状态的节点。

6.4  部署RabbitMQ安装包

1. 上传RabbitMQ安装包

访问管理页面,上传RabbitMQ云服务安装包,步骤如下:

(1)     在顶部导航栏选择[系统]菜单项进入系统管理页面。

(2)     在左侧导航树中选择[服务与组件/部署向导],进入部署向导页面。

(3)     在部署向导页面,根据页面上提示上传cloudos-mqs-rabbitmq安装包到对应目录下。上传步骤如下:

通过sftp方式将cloudos-mqs-rabbitmq服务安装包上传至sftp://<IP>:/opt/sys-app/package-files文件夹下。

(4)     上传完成后,刷新列表并选择cloudos-mqs-rabbitmq服务安装配置。

图6-2 上传安装包

【说明】下图仅供参考,实际以用户使用的版本界面为准。

 

2. 部署安装包

访问管理页面,部署RabbitMQ云服务安装包,步骤如下:

(1)     在顶部导航栏选择[系统]菜单项进入系统管理页面。

(2)     在左侧导航树中选择[服务与组件/部署向导],进入部署向导页面。

(3)     勾选列表中的cloudos-mqs-rabbitmq安装包,此时按需求选择安装包版本,部署区域默认由系统自动分配。

(4)     安装包选择完成后,RabbitMQ安装包无高级配置参数,此时可直接单击<立即部署>按钮,等待部署成功。

(5)     安装包部署成功后,此安装包内的RabbitMQ默认为启用状态,此时可在顶部导航栏云服务的下拉列表中进行查看。

图6-3 部署安装包

【说明】下图仅供参考,实际以用户使用的版本界面为准。

 

6.5  部署RabbitMQ集群

6.5.1  部署RabbitMQ集群前要求

1. 网络要求

·     建议RabbitMQ集群的主机节点与CloudOS平台(CloudOS IaaS)在同一网段,即:RabbitMQ集群中的虚拟机或裸金属节点,网络要求和CloudOS集群中主机的网络互通。

·     配置集群的管理网络(非独立管理网络),需保证通过该网络创建的主机和云平台之间网络互通。管理网络需提前在云平台的[云服务/经典网络]中进行准备。

·     网络带宽要求在10Gb/s以上。

·     RabbitMQ集群中各节点之间不能跨越防火墙。

2. 主机硬件要求

注意

·     部署RabbitMQ集群前,需要提前将裸金属加入到CloudOS IaaS的纳管中。

·     新建RabbitMQ集群时,同一个RabbitMQ集群中仅支持使用一种类型的云资源。

·     单节点RabbitMQ集群部署在1个节点上,集群版RabbitMQ集群至少部署在3个节点上。节点可以是裸金属或虚拟机。根据RabbitMQ集群使用的云资源不同,部署前准备也不同。

 

(1)     集群部署在虚拟机上时服务器硬件配置要求

在RabbitMQ集群中,虚拟机的节点规格在未选择独立数据云盘时建议使用4核CPU、12GB内存、80GB硬盘以上,最小节点规格为2核CPU、4GB内存、40GB硬盘;选择独立数据云盘时,建议使用4核CPU、12GB内存、20GB硬盘以上,最小节点规格为2核CPU、4GB内存、20GB硬盘。虚拟机的节点规格可以在云平台的[云服务/云主机]管理页面的左侧导航树中进入[服务配置/云主机规格/组合规格]页面进行自定义新增,超过最小规格要求的节点规格才可被识别到。

(2)     集群部署在裸金属上时服务器硬件配置要求

¡     在RabbitMQ集群中,裸金属的节点规格根据硬件配置自动获取,规格数据来自云平台的[资源/裸金属资源池]中处于“可分配”状态的节点。

¡     系统盘与启动盘需要一致,系统盘是裸金属资源池中节点设置指定的系统盘,启动盘是服务器的启动盘。

¡     使用裸金属资源时,RabbitMQ集群各节点的磁盘RAID整体原则如下:

-     操作系统盘做RAID1。

-     RabbitMQ集群数据盘建议做RAID5。

表6-3 服务器硬件配置要求

配置项

最低配置要求

型号

主流服务器厂商x86服务器

数量

≥3台,单台配置如下

CPU

Intel Xeon V3系列或更新型号,总核数≥2路10核

主频:≥2.0 GHz

内存

≥64GB

系统盘

HDD(至少2块),推荐:每块盘容量≥600GB,转速≥10000r/min

数据盘

支持HDD(至少1块,可参考业务数据量规划磁盘数量和容量),推荐:转速≥10000r/min

支持SSD

RAID卡

缓存: ≥1GB,支持掉电保护

网卡

≥ 2个1000 Base-T 接口

≥ 2个10 Gbps SFP+ 接口(可选)

 

6.5.2  部署RabbitMQ集群准备

RabbitMQ集群的主机资源直接使用CloudOS IaaS纳管的云资源,包括两种类型:

·     裸金属资源

·     虚拟机资源

若云平台上已配置云资源,则RabbitMQ集群可直接使用,关于RabbitMQ对云资源的要求详情请参见6.5.1  2. 主机硬件要求。若云平台上未配置云资源,则在部署RabbitMQ集群前,必须首先按要求准备云资源(根据实际需求,二选一即可),虚拟机或裸金属资源的配置请参见CloudOS云操作系统用户指南。

6.5.3  新建RabbitMQ集群

注意

·     普通用户新建集群时,需要走流程审批,待组织管理员审批通过后才能触发新建集群的操作。管理员用户新建集群时,会直接触发新建集群的操作。

·     若具有自定义角色的用户申请集群,需要为该用户的角色配置权限。如该用户为普通用户,创建自定义角色时需要为该角色配置申请创建集群权限;如该用户为管理员用户,创建自定义角色时需要为该角色配置创建集群权限。

·     集群名称具有唯一性,在CloudOS MQS的各中间件云服务之间,不支持创建同名集群。

·     新建集群需要提前对节点数量、集群模式等进行规划。

·     新建集群前,要求在云平台中已完成云资源的准备。云资源包括裸金属和虚拟机两种,根据实际使用需求任选其一即可。

·     云主机初始化模式仅支持专业模式,驱动格式建议选择VFAT。用户可在[资源/虚拟机/计算节点]页面配置相应参数。

·     RabbitMQ支持自定义镜像,自定义镜像需在创建集群前通过[云服务/镜像]上传至云平台,并在RabbitMQ服务中通过[镜像管理/添加自定义镜像]添加到该服务中来。

·     在RabbitMQ集群中,虚拟机的节点规格在未选择独立数据云盘时建议使用4核CPU、12GB内存、40GB硬盘以上,最小节点规格为2核CPU、4GB内存、40GB硬盘;选择独立数据云盘时,建议使用4核CPU、12GB内存、20GB硬盘以上,最小节点规格为2核CPU、4GB内存、20GB硬盘。虚拟机的节点规格可以在云平台的[云服务/云主机]管理页面的左侧导航树中进入[服务配置/云主机规格/组合规格]页面进行自定义新增,超过最小规格要求的节点规格才可被识别到。

·     在RabbitMQ集群中,裸金属的节点规格根据硬件配置自动获取,规格数据来自云平台的[资源/裸金属资源池]中处于“可分配”状态的节点。

·     新建集群时支持安装的组件类别和版本号,详情请以实际页面为准。

 

根据集群部署规划,在云资源准备完成以后,可新建RabbitMQ集群。

访问管理页面,新建RabbitMQ集群的步骤如下:

(1)     在顶部导航栏选择[云服务/消息中间件RabbitMQ]菜单项进入对应管理页面。

(2)     在左侧导航树中选择[集群管理],进入集群管理页面,单击<新建集群>按钮,跳转至新建RabbitMQ集群页面。

(3)     新建RabbitMQ集群的向导包括以下3个配置步骤,根据页面提示配置对应参数项的值。

第一步:基础配置,参数说明如下:

·     基本信息

¡     集群名称:自定义输入符合命名规则的集群名称。

¡     资源模式:选择集群的资源形态,包含虚拟机集群和裸金属集群。

¡     集群描述:自定义添加集群的描述信息,以便于快速了解集群的相关信息。

¡     安装组件:已缺省配置选择RabbitMQ。

·     监控

¡     开启监控:选择是否打开集群监控,默认状态为开启,开启监控可自定义设置监控周期。开启监控,可监控集群状态和主机使用状态等。

¡     监控周期:开启监控后能设置监控周期,默认周期为15秒,可设置的周期区间为1-300秒,以此修改监控数据的抓取频率。

图6-4 基础配置

 

第二步:业务详情,虚拟机、裸金属硬件详情配置参数不同,说明如下:

虚拟机集群详情配置说明如下:

·     网络

¡     网络:当未开启独立管理网络时,该项配置的是集群管理网络,需保证通过该网络创建的虚拟机和云平台之间网络互通。

¡     密钥对:配置密钥对后可实现通过密钥文件直接进行集群主机的免密登录。密钥对需提前在云平台的[云服务/云主机/密钥对]中进行准备。

¡     独立管理网络:开启时表示启用集群节点双网络功能,需配置独立管理网络和集群业务网络,裸金属集群模式不支持独立管理网络功能。

-     独立管理网络:默认为经典网络,请选择一个经典网络作为独立管理网络。

-     业务网络:默认为经典网络,请选择一个经典网络作为集群业务网络。

【注意】

-     经典网络需要在云平台的[云服务/经典网络]中进行准备。

-     独立管理网络需保证通过该网络创建的主机和云平台之间网络互通,主机间管理网网络互通。

-     业务网络要求主机间业务网网络互通。

-     开启独立管理网时,创建出的主机默认路由是业务网网关,该情况可能会导致平台与主机间管理网不通,需在管理网的经典网络下配置主机的独立管理网到平台网络的附加路由。

-     独立管理网络和业务网络目前不支持IPv6子网,只能选择配置了IPv4协议子网的经典网络。

·     计算存储

¡     集群模式:支持单节点、集群,请根据实际情况进行选择。

-     单节点:只有一个实例。

-     集群:多个实例,实例数在下拉菜单中可选择。当选择集群模式时还需要配置镜像队列模式。

¡     节点数配置:该配置项用于指定集群的节点总个数。单节点模式时节点数固定为1,集群模式时可选项为3/5/7/9。

¡     节点反亲和:当虚拟化类型为CAS且集群模式为集群时可开启节点反亲和,开启反亲和后创建的虚拟机节点会调度到不同的CVK上。

【说明】节点反亲和要求对应资源区域必须配置共享存储,且对于同一资源区域中的节点,节点数量不能大于该区域中已配置共享存储且实际可用容量大于节点存储总和、预留计算资源大于20%的物理主机数量(若物理主机同时作为CVM,则预留计算资源应大于40%) ,否则部分节点将创建异常,导致集群创建失败。

¡     集群VIP:若未开启独立管理网络,配置集群VIP。为集群且多子网时,必须指定VIP;单节点或单子网时,VIP可为空。

¡     集群管理网VIP:当开启独立管理网络,配置集群管理网VIP。来自所选独立管理网络的子网。如果所选独立管理网络当前只有一个子网,可以不填,系统自动从该子网中选择一个IP地址作为集群管理网VIP;若有2个或以上子网,则用户必须手动填写。

¡     集群节点:集群节点为RabbitMQ实例。

-     节点类型:支持RabbitMQ实例。

-     单资源区域/多资源区域:配置集群节点的资源区域,可选择单资源区域或多资源区域,单资源区域表示集群的所有节点部署在同一个资源区域下,多资源区域表示集群中的所有节点可以部署在不同的资源区域下。资源区域需提前在云平台的[资源/可用域/计算可用域]中进行准备。

-     虚拟化类型:当前版本中,支持CAS、VMware类型,CAS和VMware类型对应的云资源为虚拟机,目前不支持集群中的多个节点属于不同的虚拟化类型。

-     节点规格:未选择独立数据云盘时支持最小实例规格2核CPU、4GB内存、40GB硬盘。选择独立数据云盘时支持最小实例规格2核CPU、4GB内存、20GB硬盘。同一节点类型的节点规格必须完全一样,请根据实际情况进行选择。

-     节点IP:未开启独立管理网络时,配置节点的IP;未填写时将由系统自动分配节点IP。如果所选网络有2个或以上子网,则用户必须手动填写。

-     节点业务网IP/节点管理网IP:当已开启独立管理网络,需配置节点业务网IP和节点管理网IP,分别来自所选业务网络的子网和独立管理网络的子网。多子网情况下,用户必须手动填写IP地址。

¡     自定义镜像:不开启时集群创建使用服务内置的默认镜像。开启时,可指定自定义镜像来创建集群。自定义镜像需在创建集群前通过[云服务/镜像]上传至云平台,并在RabbitMQ服务中通过[镜像管理/添加自定义镜像]添加到该服务中来。

¡     独立数据云盘:勾选此选项时表示启用独立数据盘功能。

¡     硬盘类型:硬盘类型需提前在云平台的[云服务/云硬盘/服务配置/云硬盘类型]中进行创建。

¡     数据云盘容量:用于指定数据云盘的容量大小。

¡     配额:表示用户所在组织可用的存储总容量配额。包含可用容量和总配额容量两部分。

¡     存储资源区域

-     资源区域:集群节点所在的资源区域。

-     虚拟化类型:集群节点所在的资源区域对应的虚拟化类型。

-     存储可用域:存储可用域提前在云平台的[资源/可用域/存储可用域]中进行准备。

-     存储池可用容量:集群节点所在资源区域对应的存储池可用容量大小。

-     申请容量:集群在某个资源区域下申请的存储容量总大小。

·     RabbitMQ业务

¡     管理用户:默认配置集群管理用户为admin。该管理用户可用来访问集群快速链接RabbitMQManagement。

¡     密码:配置集群管理用户admin的密码,支持自定义输入符合规则的密码。

¡     确认密码:重复输入集群管理用户admin的密码,进行确认。

¡     镜像队列模式:集群模式为集群时,要求选择镜像列表模式。镜像列表模式包括“镜像全部”和“未设置”,镜像全部模式表示集群中的所有队列中的消息数据会在集群内的所有节点上备份,未设置表示队列的消息数据只在单节点上存在。

·     安装部署

¡     自定义目录:开启时,可指定RabbitMQ服务安装时的数据目录和日志目录。

¡     数据目录:安装时的数据目录。

¡     日志目录:安装时的日志目录。

图6-5 虚拟机集群业务详情

 

裸金属集群业务详情配置说明如下:

·     网络

¡     资源区域:配置集群使用的资源区域,资源区域对应集群节点的虚拟化类型。资源区域需提前在云平台的[资源/可用域/计算可用域]中进行准备。

¡     虚拟化类型:当前版本中,仅支持BareMetal类型。BareMetal类型对应的云资源为裸金属。

¡     网络:配置集群的管理网络,才可以为RabbitMQ分配IP资源。经典网络需要在云平台的[云服务/经典网络]中进行准备。

¡     密钥对:配置密钥对后可实现通过密钥文件直接进行集群主机的免密登录。密钥对需提前在云平台的[云服务/云主机/密钥对]中进行准备。

·     计算存储

¡     集群模式:支持单节点、集群,请根据实际情况进行选择。

-     单节点:只有一个实例。

-     集群:多个实例,实例数在下拉菜单中可选择。当选择集群模式时还需要配置镜像队列模式。

¡     集群节点:集群节点为RabbitMQ实例。

-     节点类型:支持RabbitMQ实例。

-     节点规格:选择纳管的裸金属CPU、内存和硬盘规格。同一节点类型的节点规格必须完全一样,请根据实际情况进行选择。

-     节点数:单节点模式的实例数固定为1个,集群模式的实例数可在下拉菜单中选择(范围为3/5/7/9)。

¡     自定义镜像:不开启时集群创建使用服务内置的默认镜像。开启时,可指定自定义镜像来创建集群。自定义镜像需在创建集群前通过[云服务/镜像]上传至云平台,并在服务中通过[镜像管理/添加自定义镜像]添加到该服务中来。

·     RabbitMQ业务

¡     管理用户:默认配置集群管理用户为admin。该管理用户可用来访问集群快速链接RabbitMQ Management(RabbitMQ Management管理页面提供了基于HTTP的API、基于浏览器的UI和命令行工具rabbitmqctl,用于管理和监控RabbitMQ服务器,主要包括以下功能:RabbitMQ集群详情概览,或管理RabbitMQ集群的节点、消息、队列、信道、交换机、用户、虚拟主机、策略等)。

¡     密码:配置集群管理用户admin的密码,支持自定义输入符合规则的密码。

¡     确认密码:重复输入集群管理用户admin的密码,进行确认。

¡     镜像队列模式:集群模式为集群时,要求选择镜像列表模式。镜像列表模式包括“镜像全部”和“未设置”,镜像全部模式表示集群中的所有队列中的消息数据会在集群内的所有节点上备份,未设置表示队列的消息数据只在单节点上存在。

图6-6 裸金属集群业务详情

 

第三步:确认信息,查看集群基础配置、业务详情配置的详细信息,若检查配置无误可单击<确认信息并创建>按钮启动创建集群,若检查配置有误可返回上一步进行修改。

(4)     创建集群启动后,会跳转至集群列表页面,等待一段时间集群即可创建完成。


7 部署ActiveMQ

ActiveMQ遵循JMS1.1规范(Java Message Service),是消息队列服务和面向消息中间件(MOM)的最终实现,它为企业消息传递提供了高可用、可扩展性、稳定性和安全保障。

7.1  ActiveMQ部署流程

图7-1 ActiveMQ部署流程总图

 

表7-1 部署ActiveMQ流程说明

步骤

是否必选

描述

开始

/

/

部署CloudOS

安装CloudOS服务器

必选

CloudOS平台是部署ActiveMQ云服务的基础底座,CloudOS IaaS提供部署ActiveMQ云服务时使用的云资源,因此在部署ActiveMQ之前,必须完成CloudOS平台和CloudOS IaaS的部署。

·     部署ActiveMQ时,对CloudOS平台和CloudOS IaaS的部署没有任何特殊要求,所以CloudOS平台和CloudOS IaaS的部署指导和详情直接参照CloudOS产品相关文档即可。

·     关于部署CloudOS平台和CloudOS IaaS时,与ActiveMQ相关的重点关注,详情请参见3 部署CloudOS

部署CloudOS平台

部署CloudOS IaaS

部署Base

必选

Base提供部署ActiveMQ云服务时的相关依赖等,因此在部署ActiveMQ之前,必须完成Base的部署,详情请参见4 部署Base

部署ActiveMQ安装包

上传安装包

必选

访问CloudOS管理页面,完成ActiveMQ安装包的上传和部署,详情请参见7.4  部署ActiveMQ安装包

ActiveMQ安装包部署成功后,在管理页面云服务的下拉菜单中可查看到ActiveMQ云服务。

部署安装包

必选

配置License

必选

生产环境中,ActiveMQ需要经过正式License授权之后,才可永久使用。详情请参见11 配置License

部署ActiveMQ集群

部署集群前要求

网络要求

必选

部署ActiveMQ集群之前,必须提前关注部署前要求,包括:网络要求、主机硬件要求等,详情请参见7.5.1  部署ActiveMQ集群前要求

主机硬件要求

部署集群前准备

准备云资源:虚拟机

必选

ActiveMQ云服务主机资源直接使用CloudOS IaaS纳管的虚拟机资源。主机资源准备完成以后,才可启动ActiveMQ集群部署,详情请参见7.5.2  部署ActiveMQ集群准备

新建集群

必选

访问CloudOS管理页面,完成ActiveMQ集群的创建,详情请参见7.5.3  新建ActiveMQ集群

结束

/

/

 

7.2  ActiveMQ安装包

部署ActiveMQ时,需要准备的软件安装包如表7-2所示。

表7-2 软件列表

软件

安装包名称

用途说明

获取方式

ActiveMQ安装包

cloudos-mqs-activemq-<version>.zip

用于安装ActiveMQ

由H3C提供

 

注意

ActiveMQ安装包采用云形态进行部署,具有以下要求:

·     部署ActiveMQ安装包时,要求系统中必须已部署CloudOS Plat、CloudOS IaaS、Base。即部署顺序为:1)部署CloudOS Plat、2)部署CloudOS IaaS、3)部署Base、4)部署ActiveMQ。

·     部署ActiveMQ集群时,主机资源直接使用CloudOS IaaS纳管的虚拟机云资源。

 

7.3  部署ActiveMQ前必读

部署ActiveMQ集群前,必须考虑以下要求:

·     在ActiveMQ云服务中,涉及告警监控的操作,需获取高级运维功能License授权后才可以正常使用相应功能。

·     ActiveMQ集群包括单节点以及主从两种模式。若采用单节点部署,则ActiveMQ集群部署在单节点上。若采用主从模式部署,每个ActiveMQ集群仅支持部署在3个节点上。系统内置了组件部署策略。根据现场实际情况和业务需求,进行ActiveMQ集群规划时需关注部署模式。

·     ActiveMQ集群主机资源直接使用CloudOS IaaS纳管的虚拟机云资源,需要注意:

¡     ActiveMQ集群中的虚拟机节点,网络要求和CloudOS集群中主机的网络互通。

¡     集群部署在虚拟机上时,需要关注主机节点的硬件配置要求。

【说明】虚拟机的节点规格可以在云平台的[云服务/云主机]管理页面的左侧导航树中进入[服务配置/云主机规格/组合规格]页面进行自定义新增,超过最小规格要求的节点规格才可被识别到。

7.4  部署ActiveMQ安装包

1. 上传ActiveMQ安装包

访问管理页面,上传ActiveMQ云服务安装包,步骤如下:

(1)     在顶部导航栏选择[系统]菜单项进入系统管理页面。

(2)     在左侧导航树中选择[服务与组件/部署向导],进入部署向导页面。

(3)     在部署向导页面,根据页面上提示上传cloudos-mqs-activemq安装包到对应目录下。上传步骤如下:

通过sftp方式将cloudos-mqs-activemq服务安装包上传至sftp://<IP>:/opt/sys-app/package-files文件夹下。

(4)     上传完成后,刷新列表并选择cloudos-mqs-activemq服务安装配置。

图7-2 上传安装包

【说明】下图仅供参考,实际以用户使用的版本界面为准。

 

2. 部署安装包

访问管理页面,部署ActiveMQ云服务安装包,步骤如下:

(1)     在顶部导航栏选择[系统]菜单项进入系统管理页面。

(2)     在左侧导航树中选择[服务与组件/部署向导],进入部署向导页面。

(3)     勾选列表中的cloudos-mqs-activemq安装包,此时按需求选择安装包版本,部署区域默认由系统自动分配。

(4)     安装包选择完成后,ActiveMQ安装包无高级配置参数,此时可直接单击<立即部署>按钮,等待部署成功。

(5)     安装包部署成功后,此安装包内的ActiveMQ默认为启用状态,此时可在顶部导航栏云服务的下拉列表中进行查看。

图7-3 部署安装包

【说明】下图仅供参考,实际以用户使用的版本界面为准。

 

7.5  部署ActiveMQ集群

7.5.1  部署ActiveMQ集群前要求

1. 网络要求

·     建议ActiveMQ集群的主机节点与CloudOS平台(CloudOS IaaS)在同一网段,即:ActiveMQ集群中的虚拟机节点,网络要求和CloudOS集群中主机的网络互通。

·     配置集群的管理网络,需保证通过该网络创建的主机和云平台之间网络互通。管理网络需提前在云平台的[云服务/经典网络]中进行准备。

·     网络带宽要求在10Gb/s以上。

·     ActiveMQ集群中各节点之间不能跨越防火墙。

2. 主机要求

注意

单节点ActiveMQ集群部署在1个节点上,主从模式ActiveMQ集群仅支持部署在3个节点上。

 

(1)     集群部署在虚拟机上时服务器配置要求

在ActiveMQ集群中,虚拟机的节点规格要求最小为2核CPU、4GB内存、40GB硬盘。虚拟机的节点规格可以在云平台的[云服务/云主机]管理页面的左侧导航树中进入[服务配置/云主机规格/组合规格]页面进行自定义新增,超过最小规格要求的节点规格才可被识别到。

7.5.2  部署ActiveMQ集群准备

若云平台上已配置云资源,则ActiveMQ集群可直接使用,关于ActiveMQ对云资源的要求详情请参见7.5.1  2. 主机要求。若云平台上未配置云资源,则在部署ActiveMQ集群前,必须首先按要求准备虚拟机云资源,虚拟机资源的配置请参见CloudOS云操作系统用户指南。

7.5.3  新建ActiveMQ集群

注意

·     普通用户新建集群时,需要走流程审批,待组织管理员审批通过后才能触发新建集群的操作。管理员用户新建集群时,会直接触发新建集群的操作。

·     若具有自定义角色的用户申请集群,需要为该用户的角色配置权限。如该用户为普通用户,创建自定义角色时需要为该角色配置申请创建集群权限;如该用户为管理员用户,创建自定义角色时需要为该角色配置创建集群权限。

·     集群名称具有唯一性,在CloudOS MQS的各中间件云服务之间,不支持创建同名集群。

·     新建集群需要提前对节点数量、集群模式等进行规划。

·     新建集群前,要求在云平台中已完成虚拟机云资源的准备。

·     云主机初始化模式仅支持专业模式,驱动格式建议选择VFAT。用户可在[资源/虚拟机/计算节点]页面配置相应参数。

·     在ActiveMQ集群中,虚拟机的节点规格要求最小为2核CPU、4GB内存、40GB硬盘。虚拟机的节点规格可以在云平台的[云服务/云主机]管理页面的左侧导航树中进入[服务配置/云主机规格/组合规格]页面进行自定义新增,超过最小规格要求的节点规格才可被识别到。

·     新建集群时支持安装的组件类别和版本号,详情请以实际页面为准。

 

根据集群部署规划,在云资源准备完成以后,可新建ActiveMQ集群。

访问管理页面,新建ActiveMQ集群的步骤如下:

(1)     在顶部导航栏选择[云服务/消息中间件ActiveMQ]菜单项进入对应管理页面。

(2)     在左侧导航树中选择[集群管理],进入集群管理页面,单击<新建集群>按钮,跳转至新建ActiveMQ集群页面。

(3)     新建ActiveMQ集群的向导包括以下3个配置步骤,根据页面提示配置对应参数项的值。

第一步:基础配置,参数说明如下:

·     基本信息

¡     集群名称:自定义输入符合命名规则的集群名称。

¡     资源模式:当前仅支持虚拟机集群。

¡     集群描述:自定义添加集群的描述信息,以便于快速了解集群的相关信息。

¡     安装组件:已缺省配置选择ActiveMQ。

·     监控

¡     开启监控:选择是否打开集群监控,默认状态为开启,开启监控则需要设置监控周期。若开启监控,可监控服务的状态和主机使用状态等。

¡     监控周期:开启监控后能设置监控周期,默认周期为15秒,可设置的周期区间为1-300秒,以此修改监控数据的抓取频率。

图7-4 基础配置

 

第二步:业务详情,参数说明如下:

·     网络

¡     资源区域:配置集群使用的资源区域,资源区域对应集群节点的虚拟化类型。资源区域需提前在云平台的[资源/可用域/计算可用域]中进行准备。

¡     虚拟化类型:当前版本中,仅支持CAS、VMware类型。其中:CAS、VMware对应的云资源为虚拟机。

¡     网络:配置集群的管理网络,才可以为ActiveMQ分配IP资源。经典网络需要在云平台的[云服务/经典网络]中进行准备。目前不支持IPv6子网,只能选择配置了IPv4协议子网的经典网络。

¡     密钥对:配置密钥对后可实现通过密钥文件直接进行集群主机的免密登录。密钥对需提前在云平台的[云服务/云主机/密钥对]中进行准备。

·     计算存储

¡     集群模式:支持单节点、主从,请根据实际情况进行选择。

-     单节点:只有一个实例。

-     主从:3个实例,不可修改。

¡     节点数配置:单节点模式的实例数为1个,主从模式中仅支持3个。

¡     集群VIP:为集群且多子网时,必须指定VIP;单节点或单子网时,VIP可为空。

¡     节点反亲和:当虚拟化类型为CAS且集群模式为主从时可开启节点反亲和,开启反亲和后创建的虚拟机节点会调度到不同的CVK上。

【说明】节点反亲和要求对应资源区域必须配置共享存储,且对于同一资源区域中的节点,节点数量不能大于该区域中已配置共享存储且实际可用容量大于节点存储总和、预留计算资源大于20%的物理主机数量(若物理主机同时作为CVM,则预留计算资源应大于40%) ,否则部分节点将创建异常,导致集群创建失败。

¡     集群节点:集群节点为ActiveMQ实例。

-     节点类型:支持ActiveMQ实例。

-     节点规格:支持最小实例规格2核CPU、4GB内存、40GB磁盘。同一节点类型的节点规格必须完全一样,请根据实际情况进行选择。

-     节点IP:节点的IP,未填写时将由系统自动分配节点IP。如果所选网络有2个或以上子网,则用户必须手动填写。

¡     自定义镜像:不开启时集群创建使用服务内置的默认镜像。开启时,可指定自定义镜像来创建集群。自定义镜像需在创建集群前通过[云服务/镜像]上传至云平台,并在ActiveMQ服务中通过[镜像管理/添加自定义镜像]添加到该服务中来。

·     ActiveMQ业务

¡     管理用户:默认配置集群管理用户为admin,该管理用户用来连接ActiveMQ集群服务和访问ActiveMQ控制台。

¡     密码:配置集群管理用户admin的密码,支持自定义输入符合规则的密码。

¡     确认密码:重复输入集群管理用户admin的密码,进行确认。

图7-5 业务详情配置

 

第三步:确认信息,查看集群基础配置、业务详情配置的详细信息,若检查配置无误可单击<确认信息并创建>按钮启动创建集群,若检查配置有误可返回上一步进行修改。

(4)     创建集群启动后,会跳转至集群列表页面,等待一段时间集群即可创建完成。


8 部署ZooKeeper

ZooKeeper是一个分布式的应用程序协调服务。它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。

8.1  ZooKeeper部署流程

图8-1 ZooKeeper部署流程总图

 

表8-1 部署ZooKeeper流程说明

步骤

是否必选

描述

开始

/

/

部署CloudOS

安装CloudOS服务器

必选

CloudOS平台是部署ZooKeeper云服务的基础底座,CloudOS IaaS提供部署ZooKeeper云服务时使用的云资源,因此在部署ZooKeeper之前,必须完成CloudOS平台和CloudOS IaaS的部署。

·     部署ZooKeeper时,对CloudOS平台和CloudOS IaaS的部署没有任何特殊要求,所以CloudOS平台和CloudOS IaaS的部署指导和详情直接参照CloudOS产品相关文档即可。

·     关于部署CloudOS平台和CloudOS IaaS时,与ZooKeeper相关的重点关注,详情请参见3 部署CloudOS

部署CloudOS平台

部署CloudOS IaaS

部署Base

必选

Base提供部署ZooKeeper云服务时的相关依赖等,因此在部署ZooKeeper之前,必须完成Base的部署,详情请参见4 部署Base

部署ZooKeeper安装包

上传安装包

必选

访问CloudOS管理页面,完成ZooKeeper安装包的上传和部署,详情请参见8.4  部署ZooKeeper安装包

ZooKeeper安装包部署成功后,在管理页面云服务的下拉菜单中可查看到ZooKeeper云服务。

部署安装包

必选

配置License

必选

生产环境中,ZooKeeper需要经过正式License授权之后,才可永久使用。详情请参见11 配置License

部署ZooKeeper集群

部署集群前要求

网络要求

必选

部署ZooKeeper集群之前,必须提前关注部署前要求,包括:网络要求、KaaS集群要求等,详情请参见8.5.1  部署ZooKeeper集群前要求

KaaS集群要求

新建集群

必选

访问CloudOS管理页面,完成ZooKeeper集群的创建,详情请参见8.5.3  新建ZooKeeper集群

结束

/

/

 

8.2  ZooKeeper安装包

部署ZooKeeper时,需要准备的软件安装包如表8-2所示。

表8-2 软件列表

软件

安装包名称

用途说明

获取方式

ZooKeeper安装包

cloudos-mqs-zookeeper-<version>.zip

用于安装ZooKeeper

由H3C提供

 

注意

ZooKeeper安装包采用云形态进行部署,具有以下要求:

·     部署ZooKeeper安装包时,要求系统中必须已部署CloudOS Plat、CloudOS IaaS、Base。即部署顺序为:1)部署CloudOS Plat、2)部署CloudOS IaaS、3)部署Base、4)部署ZooKeeper。

·     部署ZooKeeper虚拟机集群时,主机资源直接使用CloudOS IaaS纳管的云资源。部署ZooKeeper容器集群时,根据实际情况进行选择即可

·     部署ZooKeeper容器集群时,需使用已创建好的KaaS集群,KaaS集群的创建可详见H3C CloudOS产品相关文档。

 

8.3  部署ZooKeeper前必读

部署ZooKeeper集群前,必须考虑以下要求:

·     当资源模式为容器集群时,集群中节点数量只能为3、5、7。系统内置了组件部署策略,根据现场实际情况和业务需求,进行ZooKeeper集群规划时需关注集群节点数目。

·     创建ZooKeeper容器集群前需先创建KaaS集群,在云平台[云服务/云容器引擎/集群]新建KaaS集群时要求Kubernetes版本1.15.0+。

·     创建KaaS集群之后,需在KaaS集群中创建StorageClass。新建容器集群时,依赖该StorageClass。

·     当资源模式为虚拟机集群时,Zookeeper集群至少部署在3个节点上,系统内置了组件部署策略。根据现场实际情况和业务需求,进行Zookeeper集群规划时需关注集群节点数目。

·     Zookeeper虚拟机的主机资源直接使用CloudOS IaaS纳管的云资源。Zookeeper容器集群使用云容器引擎创建的KaaS集群资源,根据实际情况进行选择即可,需要注意:

¡     Zookeeper集群中的虚拟机和KaaS集群节点,网络要求和CloudOS集群中主机的网络互通。

¡     集群部署在虚拟机上时,需要关注主机节点的硬件配置要求。

【说明】虚拟机的节点规格可以在云平台的[云服务/云主机]管理页面的左侧导航树中进入[服务配置/云主机规格/组合规格]页面进行自定义新增,超过最小规格要求的节点规格才可被识别到。

¡     集群部署在KaaS集群上时,需要关注KaaS集群工作节点的硬件配置要求。

【说明】KaaS集群的规格在创建KaaS集群时定义,可通过云平台的[云服务/云容器引擎/集群]创建KaaS集群时定义规格或创建成功后单击对应的集群名查看详情。工作节点可以在创建KaaS集群时同步创建,也可以在已创建好的KaaS里新增工作节点。

8.4  部署ZooKeeper安装包

1. 上传ZooKeeper安装包

访问管理页面,上传ZooKeeper云服务安装包,步骤如下:

(1)     在顶部导航栏选择[系统]菜单项进入系统管理页面。

(2)     在左侧导航树中选择[服务与组件/部署向导],进入部署向导页面。

(3)     在部署向导页面,根据页面上提示上传cloudos-mqs-ZooKeeper安装包到对应目录下。上传步骤如下:

通过sftp方式将cloudos-mqs-ZooKeeper服务安装包上传至sftp://<IP>:/opt/sys-app/package-files文件夹下。

(4)     上传完成后,刷新列表并选择cloudos-mqs-ZooKeeper服务安装配置。

图8-2 上传安装包

【说明】下图仅供参考,实际以用户使用的版本界面为准。

 

2. 部署安装包

访问管理页面,部署ZooKeeper云服务安装包,步骤如下:

(1)     在顶部导航栏选择[系统]菜单项进入系统管理页面。

(2)     在左侧导航树中选择[服务与组件/部署向导],进入部署向导页面。

(3)     勾选列表中的cloudos-mqs-ZooKeeper安装包,此时按需求选择安装包版本,部署区域默认由系统自动分配。

(4)     安装包选择完成后,ZooKeeper安装包无高级配置参数,此时可直接单击<立即部署>按钮,等待部署成功。

(5)     安装包部署成功后,此安装包内的ZooKeeper默认为启用状态,此时可在顶部导航栏云服务的下拉列表中进行查看。

图8-3 部署安装包

【说明】下图仅供参考,实际以用户使用的版本界面为准。

 

8.5  部署ZooKeeper集群

8.5.1  部署ZooKeeper集群前要求

1. 网络要求

·     建议ZooKeeper虚拟机集群的主机节点与CloudOS平台(CloudOS IaaS)在同一网段,即:ZooKeeper集群的主机节点,网络要求和CloudOS集群中主机的网络互通。

·     配置集群的管理网络,需保证通过该网络创建的主机和云平台之间网络互通。管理网络需提前在云平台的[云服务/经典网络]中进行准备。

·     部署容器集群时,建议创建ZooKeeper集群使用的KaaS集群节点与CloudOS平台(CloudOS IaaS)在同一网段。

·     网络带宽要求在10Gb/s以上。

·     ZooKeeper集群中各节点之间不能跨越防火墙。

2. 主机硬件要求

注意

·     ZooKeeper容器集群的创建依赖于KaaS集群,KaaS集群的创建方式请参见CloudOS云操作系统用户指南[云服务/云容器引擎/集群]。

·     新建ZooKeeper集群时,同一个ZooKeeper集群中仅支持使用一种类型的云资源。

 

(1)     集群部署在虚拟机上时服务器硬件配置要求如下:

在Zookeeper集群中,虚拟机的节点规格要求最小为2核CPU、4GB内存、40GB硬盘。虚拟机的节点规格可以在云平台的[云服务/云主机]管理页面的左侧导航树中进入[服务配置/云主机规格/组合规格]页面进行自定义新增,超过最小规格要求的节点规格才可被识别到。

(2)     容器集群部署在KaaS集群上,KaaS集群要求如下:

在ZooKeeper容器集群中,实例的规格要求最小为1核CPU、4GB内存、32GB硬盘。KaaS集群的规格在创建KaaS集群时确定,通过云平台的[云服务/云容器引擎]管理页面的左侧导航树中进入[云容器引擎/集群]页面进行创建KaaS集群。

8.5.2  部署Zookeeper集群前准备

注意

·     新建Zookeeper集群时,同一个Zookeeper集群中仅支持使用一种类型的云资源。

·     集群的节点可以是虚拟机或容器,根据实际使用需求任选其一即可,虚拟机集群可以选择集群或单机模式部署,容器集群只能选择集群模式。

·     新建集群前,要求在云平台中已完成云资源的准备。

·     部署Kafka容器集群时,需要提前创建KaaS集群。在云平台[云服务/云容器引擎/集群]新建KaaS集群时要求Kubernetes版本1.15.0+。

·     KaaS集群工作节点建议最少三个节点,每节点规格建议最低8核CPU、16G内存。

·     创建KaaS集群之后,需在KaaS集群中创建StorageClass。新建容器集群时,依赖该StorageClass。

 

Zookeeper集群的主机资源直接使用CloudOS IaaS纳管的虚拟机资源,Zookeeper容器集群使用云容器引擎创建的KaaS集群资源。

若云平台上已配置云资源,则Zookeeper集群可直接使用,若云平台上未配置云资源,则在部署Zookeeper集群前,必须首先按要求准备云资源(根据实际需求选择),虚拟机、KaaS集群资源的配置请参见CloudOS云操作系统用户指南。

8.5.3  新建ZooKeeper集群

注意

·     普通用户新建集群时,需要走流程审批,待组织管理员审批通过后才能触发新建集群的操作。管理员用户新建集群时,会直接触发新建集群的操作。

·     若具有自定义角色的用户申请集群,需要为该用户的角色配置权限。如该用户为普通用户,创建自定义角色时需要为该角色配置申请创建集群权限;如该用户为管理员用户,创建自定义角色时需要为该角色配置创建集群权限。

·     集群名称具有唯一性,在CloudOS MQS的各中间件云服务之间,不支持创建同名集群。

·     新建集群前,要求在云平台中已完成云资源的准备。云资源包括虚拟机和KaaS集群两种,根据实际使用需求任选其一即可。

·     云主机初始化模式仅支持专业模式,驱动格式建议选择VFAT。用户可在[资源/虚拟机/计算节点]页面配置相应参数。

·     新建ZooKeeper容器集群需要先创建KaaS集群,KaaS集群可视为容器集群的资源域。可通过[云服务\云容器引擎\集群\新建集群]进入KaaS集群创建页面进行集群创建工作。

·     创建KaaS集群之后,需在KaaS集群中创建StorageClass。新建容器集群时,依赖该StorageClass。

·     在云平台的[云服务/云容器引擎/集群]新建KaaS集群时要求Kubernetes版本1.15.0+。

·     ZooKeeper虚拟机集群支持单机模式和集群模式,集群模式可指定服务器角色(Leader+Follower和Observer角色)的节点数量。

·     ZooKeeper容器集群只支持集群模式,集群实例数仅可为3、5或7个。

·     在ZooKeeper容器集群中,容器形态的节点规格可在创建集群时确定,节点规格要求最小为1核CPU、4GB内存、32GB硬盘。系统已确定单个节点的上下阈值,用户在阈值期间内自定义规格即可。

·     在ZooKeeper虚拟机集群中,虚拟机的节点规格要求最小为2核CPU、4GB内存、40GB硬盘。虚拟机的节点规格可以在云平台的[云服务/云主机]管理页面的左侧导航树中进入[服务配置/云主机规格/组合规格]页面进行自定义新增,超过最小规格要求的节点规格才可被识别到。

·     新建集群时支持安装的组件类别和版本号,详情请以实际页面为准。

 

根据集群部署规划,在云资源准备完成以后,可新建ZooKeeper集群。

访问管理页面,新建ZooKeeper集群的步骤如下:

(1)     在顶部导航栏选择[云服务/消息中间件ZooKeeper]菜单项进入对应管理页面。

(2)     在左侧导航树中选择[集群管理],进入集群管理页面,单击<新建集群>按钮,跳转至新建ZooKeeper集群页面。

(3)     新建ZooKeeper集群的向导包括以下3个配置步骤,根据页面提示配置对应参数项的值。

第一步:基础配置,参数说明如下:

·     基本信息

¡     集群名称:自定义输入符合命名规则的集群名称。

¡     资源模式:创建不同资源类型的集群,选择容器集群与选择虚拟机集群的业务详情配置不一样。按照实际需求,选择合适的资源模式。

¡     集群描述:自定义添加集群的描述信息,以便于快速了解集群相关信息。

¡     安装组件:已缺省配置选择ZooKeeper。

·     监控

¡     开启监控:选择是否打开集群监控,默认状态为开启,开启监控则需要设置监控周期。若开启监控,可监控ZooKeeper集群的状态和主机使用状态等。

¡     监控周期:开启监控后能设置监控周期,默认周期为15秒,可设置的周期区间为1-300秒,以此修改监控数据的抓取频率。

图8-4 基础配置

 

第二步:业务详情,当资源模式选择虚拟机集群或容器集群时,业务详情参数不同。

当资源模式选择虚拟机集群时,业务详情参数说明如下:

·     网络

¡     资源区域:配置集群使用的资源区域,资源区域对应集群节点的虚拟化类型。资源区域需提前在云平台的[资源/可用域/计算可用域]中进行准备。

¡     虚拟化类型:当前版本中,支持CAS和VMware类型。其中CAS、VMware类型对应的云资源为虚拟机,请根据实际情况进行选择。

¡     网络:该项配置的是集群管理网络,需保证通过该网络创建的虚拟机和云平台之间网络互通。网络需提前在云平台的[云服务/经典网络]中进行准备。目前不支持IPv6子网,只能选择配置了IPv4协议子网的经典网络。

¡     密钥对:配置密钥对后可实现通过密钥文件直接进行集群主机的免密登录。密钥对需提前在云平台的[云服务/云主机/密钥对]中进行准备。

·     计算存储

¡     集群模式:支持单机、集群,请根据实际情况进行选择。

-     单机:只有一个实例。Zookeeper节点数默认为1。

-     集群:多个实例,可以指定Leader+Follower节点数(具有选举权,节点数量为奇数个,最大数量为9)和Observer节点数(不具有选举权,节点数量的奇、偶没有限制,最大数量为9)。

¡     节点反亲和:当虚拟化类型为CAS且集群模式为“集群”时,可开启节点反亲和,开启反亲和后创建的虚拟机节点会调度到不同的CVK上。

【说明】节点反亲和要求对应资源区域必须配置共享存储,且对于同一资源区域中的节点,节点数量不能大于该区域中已配置共享存储且实际可用容量大于节点存储总和、预留计算资源大于20%的物理主机数量(若物理主机同时作为CVM,则预留计算资源应大于40%) ,否则部分节点将创建异常,导致集群创建失败。

¡     集群VIP:为集群且多子网时,必须指定VIP;单节点或单子网时,VIP可为空。

¡     集群节点:

-     节点类型:支持Zookeeper实例。

-     角色:单机模式下,角色为Standalone;集群模式下,角色包括Leader/Follower、Observer。

-     节点规格:支持最小节点规格2核CPU、4GB内存、40GB硬盘。同一节点类型的节点规格必须完全一样,请根据实际情况进行选择。

-     节点IP:节点的IP,未填写时将由系统自动分配节点IP。如果所选网络有2个或以上子网,则用户必须手动填写。

¡     自定义镜像:不开启时集群创建使用服务内置的默认镜像。开启时,可指定自定义镜像来创建集群。自定义镜像需在创建集群前通过[云服务/镜像]上传至云平台,并通过Zookeeper服务的[镜像管理/添加自定义镜像]添加到该服务中。

·     Zookeeper业务

¡     管理用户:默认配置集群管理用户为admin,为Zookeeper集群的默认超级用户。

¡     密码:配置集群管理用户admin的密码,支持自定义输入符合规则的密码。

¡     确认密码:重复输入集群管理用户admin的密码,进行确认。

图8-5 虚拟机集群业务详情

 

 

当资源模式选择容器集群时,业务详情参数说明如下:

·     KaaS集群:K8s集群,可通过[云服务\云容器引擎\集群\新建集群]进行创建,创建的ZooKeeper集群运行在该K8s集群上。

注:在云平台的[云服务/云容器引擎/集群]新建集群时要求Kubernetes版本1.15.0+。

·     NameSpace:ZooKeeper容器集群在KaaS集群中使用的命名空间,同时支持手动输入和下拉选择。

·     StorageClass:kubernetes中用来自动创建PV的一种资源,该资源用来为集群提供存储空间。

注:创建KaaS集群之后,需在KaaS集群中创建该资源,新建容器集群时StorageClass下拉框显示创建的该资源。

·     Service名称:支持用户自定义ZooKeeper服务的服务名。

·     HeadLess Service名称:Headless service是一种特殊Service,可用来获取当前集群提供的所有的服务地址。

·     实例个数:在下拉框中选择组成集群的实例数。集群实例数仅可为3、5或7个。

·     实例规格:实例规格有三种资源类型,分别为CPU、内存、硬盘,用户可自定义实例规格,最小单个实例规格:1核CPU、4GB内存、32GB硬盘。

图8-6 容器集群业务详情

 

第三步:确认信息,查看集群基础配置、业务详情的详细信息,若检查配置无误可单击<确认信息并创建>按钮启动创建集群,若检查配置有误可返回上一步进行修改。

(4)     创建集群启动后,会跳转至集群列表页面,等待一段时间集群即可创建完成。


9 部署RocketMQ

RocketMQ是一个统一消息引擎,轻量级数据处理平台,具有事务消息、延迟消息、顺序消息等功能的高性能消息中间件。

9.1  RocketMQ部署流程

图9-1 RocketMQ部署流程总图

 

表9-1 部署RocketMQ流程说明

步骤

是否必选

描述

开始

/

/

部署CloudOS

安装CloudOS服务器

必选

CloudOS平台是部署RocketMQ云服务的基础底座,CloudOS IaaS提供部署RocketMQ云服务时使用的云资源,因此在部署RocketMQ之前,必须完成CloudOS平台和CloudOS IaaS的部署。

·     部署RocketMQ时,对CloudOS平台和CloudOS IaaS的部署没有任何特殊要求,所以CloudOS平台和CloudOS IaaS的部署指导和详情直接参照CloudOS产品相关文档即可。

·     关于部署CloudOS平台和CloudOS IaaS时,与RocketMQ相关的重点关注,详情请参见3 部署CloudOS

部署CloudOS平台

部署CloudOS IaaS

部署Base

必选

Base提供部署RocketMQ云服务时的相关依赖等,因此在部署RocketMQ之前,必须完成Base的部署,详情请参见4 部署Base

部署RocketMQ安装包

上传安装包

必选

访问CloudOS管理页面,完成RocketMQ安装包的上传和部署,详情请参见9.4  部署RocketMQ安装包

RocketMQ安装包部署成功后,在管理页面云服务的下拉菜单中可查看到RocketMQ云服务。

部署安装包

必选

配置License

必选

生产环境中,RocketMQ需要经过正式License授权之后,才可永久使用。详情请参见11 配置License

部署RocketMQ集群

部署集群前要求

网络要求

必选

部署RocketMQ集群之前,必须提前关注部署前要求,包括:网络要求、主机硬件要求等,详情请参见9.5.1  部署RocketMQ集群前要求

主机硬件要求

部署集群前准备

准备云资源(虚拟机或裸金属,二选一)

必选

RocketMQ云服务主机资源直接使用CloudOS IaaS纳管的资源,包括裸金属和虚拟机两种,根据实际情况二选一即可。主机资源准备完成以后,才可启动RocketMQ集群部署,详情请参见9.5.2  部署RocketMQ集群准备

新建集群

必选

访问CloudOS管理页面,完成RocketMQ集群的创建,详情请参见9.5.3  新建RocketMQ集群

结束

/

/

 

9.2  RocketMQ安装包

部署RocketMQ时,需要准备的软件安装包如表9-2所示。

表9-2 软件列表

软件

安装包名称

用途说明

获取方式

RocketMQ安装包

cloudos-mqs-rocketmq-<version>.zip

用于安装RocketMQ

由H3C提供

 

9.3  部署RocketMQ前必读

部署RocketMQ集群前,必须考虑以下要求:

·     在RocketMQ云服务中,涉及告警监控的操作,需获取高级运维功能License授权后才可以正常使用相应功能。

·     RocketMQ集群可以开启主从模式,集群创建后主从模式不可更改。根据现场实际情况和业务需求,进行RocketMQ集群规划时需关注集群模式。

·     RocketMQ集群主机资源直接使用CloudOS IaaS纳管的云资源,包括虚拟机和裸金属两种,根据实际情况进行选择即可,需要注意:

¡     RocketMQ集群中的虚拟机或裸金属节点,网络要求和CloudOS集群中主机的网络互通。

¡     集群部署在虚拟机上时,需要关注主机节点的硬件配置要求。

【说明】虚拟机的节点规格可以在云平台的[云服务/云主机]管理页面的左侧导航树中进入[服务配置/云主机规格/组合规格]页面进行自定义新增,超过最小规格要求的节点规格才可被识别到。

¡     集群部署在裸金属上时,需要关注主机节点的硬件配置要求以及磁盘RAID方案。

【说明】裸金属的节点规格根据硬件配置自动获取,规格数据来自云平台的[资源/裸金属资源池]中处于“可分配”状态的节点。

9.4  部署RocketMQ安装包

1. 上传RocketMQ安装包

访问管理页面,上传RocketMQ云服务安装包,步骤如下:

(1)     在顶部导航栏选择[系统]菜单项进入系统管理页面。

(2)     在左侧导航树中选择[服务与组件/部署向导],进入部署向导页面。

(3)     在部署向导页面,根据页面上提示上传cloudos-mqs-rocketmq安装包到对应目录下。上传步骤如下:

通过sftp方式将cloudos-mqs-rocketmq服务安装包上传至sftp://<IP>:/opt/sys-app/package-files文件夹下。

(4)     上传完成后,刷新列表并选择cloudos-mqs-rocketmq服务安装配置。

图9-2 上传安装包

【说明】下图仅供参考,实际以用户使用的版本界面为准。

 

2. 部署安装包

访问管理页面,部署RocketMQ云服务安装包,步骤如下:

(1)     在顶部导航栏选择[系统]菜单项进入系统管理页面。

(2)     在左侧导航树中选择[服务与组件/部署向导],进入部署向导页面。

(3)     勾选列表中的cloudos-mqs-rocketmq安装包,此时按需求选择安装包版本,部署区域默认由系统自动分配。

(4)     安装包选择完成后,RocketMQ安装包无高级配置参数,此时可直接单击<立即部署>按钮,等待部署成功。

(5)     安装包部署成功后,此安装包内的RocketMQ默认为启用状态,此时可在顶部导航栏云服务的下拉列表中进行查看。

图9-3 部署安装包

【说明】下图仅供参考,实际以用户使用的版本界面为准。

 

9.5  部署RocketMQ集群

9.5.1  部署RocketMQ集群前要求

1. 网络要求

·     建议RocketMQ集群的主机节点与CloudOS平台(CloudOS IaaS)在同一网段,即:RocketMQ集群中的虚拟机或裸金属节点,网络要求和CloudOS集群中主机的网络互通。

·     配置集群的管理网络,需保证通过该网络创建的主机和云平台之间网络互通。管理网络需提前在云平台的[云服务/经典网络]中进行准备。

·     网络带宽要求在10Gb/s以上。

·     RocketMQ集群中各节点之间不能跨越防火墙。

2. 主机硬件要求

注意

·     部署RocketMQ集群前,需要提前将裸金属加入到CloudOS IaaS的纳管中。

·     新建RocketMQ集群时,同一个RocketMQ集群中仅支持使用一种类型的云资源。

·     RocketMQ集群可以部署在裸金属或虚拟机上。根据RocketMQ集群使用的云资源不同,部署前准备也不同。

 

(1)     集群部署在虚拟机上时服务器硬件配置要求

在RocketMQ集群中,虚拟机的节点规格建议使用4核CPU、12GB内存、40GB硬盘以上,最小节点规格为2核CPU、8GB内存、40GB硬盘。虚拟机的节点规格可以在云平台的[云服务/云主机]管理页面的左侧导航树中进入[服务配置/云主机规格/组合规格]页面进行自定义新增,超过最小规格要求的节点规格才可被识别到。

(2)     集群部署在裸金属上时服务器硬件配置要求

¡     在RocketMQ集群中,裸金属的节点规格根据硬件配置自动获取,规格数据来自云平台的[资源/裸金属资源池]中处于“可分配”状态的节点。

¡     系统盘与启动盘需要一致,系统盘是裸金属资源池中节点设置指定的系统盘,启动盘是服务器的启动盘。

¡     使用裸金属资源时,RocketMQ集群各节点的磁盘RAID整体原则如下:

-     操作系统盘做RAID1。

-     RocketMQ集群数据盘建议做RAID5。

表9-3 服务器硬件配置要求

配置项

最低配置要求

型号

主流服务器厂商x86服务器

数量

≥3台,单台配置如下

CPU

Intel Xeon V3系列或更新型号,总核数≥2路10核

主频:≥2.0 GHz

内存

≥64GB

系统盘

HDD(至少2块),推荐:每块盘容量≥600GB,转速≥10000r/min

数据盘

支持HDD(至少1块,可参考业务数据量规划磁盘数量和容量),推荐:转速≥10000r/min

支持SSD

RAID卡

缓存: ≥1GB,支持掉电保护

网卡

≥ 2个1000 Base-T 接口

≥ 2个10 Gbps SFP+ 接口(可选)

 

9.5.2  部署RocketMQ集群准备

RocketMQ集群的主机资源直接使用CloudOS IaaS纳管的云资源,包括两种类型:

·     裸金属资源

·     虚拟机资源

若云平台上已配置云资源,则RocketMQ集群可直接使用,关于RocketMQ对云资源的要求详情请参见9.5.1  2. 主机硬件要求。若云平台上未配置云资源,则在部署RocketMQ集群前,必须首先按要求准备云资源(根据实际需求,二选一即可),虚拟机或裸金属资源的配置请参见CloudOS云操作系统用户指南。

9.5.3  新建RocketMQ集群

注意

·     普通用户新建集群时,需要走流程审批,待组织管理员审批通过后才能触发新建集群的操作。管理员用户新建集群时,会直接触发新建集群的操作。

·     若具有自定义角色的用户申请集群,需要为该用户的角色配置权限。如该用户为普通用户,创建自定义角色时需要为该角色配置申请创建集群权限;如该用户为管理员用户,创建自定义角色时需要为该角色配置创建集群权限。

·     集群名称具有唯一性,在CloudOS MQS的中间件云服务之间,不支持创建同名集群。

·     新建集群需要提前对节点数量、集群模式等进行规划。

·     新建集群前,要求在云平台中已完成云资源的准备。云资源包括裸金属和虚拟机两种,根据实际使用需求任选其一即可。

·     云主机初始化模式仅支持专业模式,驱动格式建议选择VFAT。用户可在[资源/虚拟机/计算节点]页面配置相应参数。

·     在RocketMQ集群中,虚拟机的节点规格建议使用4核CPU、12GB内存、80GB硬盘以上,最小节点规格为2核CPU、8GB内存、40GB硬盘。虚拟机的节点规格可以在云平台的[云服务/云主机]管理页面的左侧导航树中进入[服务配置/云主机规格/组合规格]页面进行自定义新增,超过最小规格要求的节点规格才可被识别到。

·     在RocketMQ集群中,裸金属的节点规格根据硬件配置自动获取,规格数据来自云平台的[资源/裸金属资源池]中处于“可分配”状态的节点。

·     新建集群时支持安装的组件类别和版本号,详情请以实际页面为准。

 

根据集群部署规划,在云资源准备完成以后,可新建RocketMQ集群。

访问管理页面,新建RocketMQ集群的步骤如下:

(1)     在顶部导航栏选择[云服务/消息中间件RocketMQ]菜单项进入对应管理页面。

(2)     在左侧导航树中选择[集群管理],进入集群管理页面,单击<新建集群>按钮,跳转至新建RocketMQ集群页面。

(3)     新建RocketMQ集群的向导包括以下3个配置步骤,根据页面提示配置对应参数项的值。

第一步:基础配置,参数说明如下:

·     基本信息:

¡     集群名称:自定义输入符合命名规则的集群名称。

¡     资源模式:选择集群的资源形态,包含虚拟机集群和裸金属集群。

¡     集群描述:自定义添加集群的描述信息,以便于快速了解集群的相关信息。

¡     安装组件:已缺省配置选择RocketMQ。

·     监控:

¡     开启监控:选择是否打开集群监控,默认状态为开启,开启监控需要设置监控周期。若开启监控,可监控RocketMQ集群的状态和主机使用状态等。

¡     监控周期:开启监控后能设置监控周期,默认周期为15秒,可设置的周期区间为1-300秒,通过设置监控周期修改监控数据的抓取频率。

图9-4 基础配置

 

第二步:业务详情,虚拟机集群和裸金属集群此步骤参数相同,说明如下:

·     网络

¡     资源区域:配置集群使用的资源区域。资源区域需提前在云平台的[资源/可用域/计算可用域]中进行准备。

¡     虚拟化类型:当前版本中,在虚拟机集群模式下,支持CAS和VMware类型;在裸金属集群模式下,仅支持BareMetal类型。

¡     网络:配置集群管理网络,需保证通过该网络创建的虚拟机和云平台之间网络互通。网络需提前在云平台的[云服务/经典网络]中进行准备。目前不支持IPv6子网,只能选择配置了IPv4协议子网的经典网络。

¡     密钥对:配置密钥对后可实现通过密钥文件直接进行集群主机的免密登录。密钥对需提前在云平台的[云服务/云主机/密钥对]中进行准备。

·     计算存储

¡     主节点数:当未开启主从时,主节点数指的是RokcetMQ集群中的总节点数;当开启主从时,主节点数指的是集群的主节点数。

¡     主从模式:是否开启主从模式。

-     从节点数:开启主从模式时需要配置从节点的数量,此时该配置项指的是每个主节点的从节点数,默认为1个。

-     节点反亲和:当虚拟化类型为CAS且节点总数大于1时,可开启节点反亲和,开启反亲和后创建的虚拟机节点会调度到不同的CVK上。

【说明】节点反亲和要求对应资源区域必须配置共享存储,且对于同一资源区域中的节点,节点数量不能大于该区域中已配置共享存储且实际可用容量大于节点存储总和、预留计算资源大于20%的物理主机数量(若物理主机同时作为CVM,则预留计算资源应大于40%),否则部分节点将创建异常,导致集群创建失败。

¡     集群VIP:主节点数大于1且多子网时,必须指定VIP;主节点数等于1或单子网时,VIP可为空。

¡     集群节点:集群节点为RocketMQ实例。

-     节点类型:支持RocketMQ实例。

-     节点规格:支持最小节点规格为2核CPU、8GB内存、40GB磁盘。同一节点类型的节点规格必须完全一样,请根据实际情况进行选择。

-     节点IP:节点的IP,未填写时将由系统自动分配节点IP。如果所选网络有2个或以上子网,则用户必须手动填写。

¡     自定义镜像:不开启时集群创建使用服务内置的默认镜像。开启时,可指定自定义镜像来创建集群。自定义镜像需在创建集群前通过[云服务/镜像]上传至云平台,并通过RocketMQ服务的[镜像管理/添加自定义镜像]添加到该服务中。

·     RocketMQ业务

¡     管理员用户名:RocketMQ集群默认开启ACL功能,创建集群时需要指定一个ACL管理员账户。

¡     管理员密码:配置管理员账户密码,支持自定义输入符合规则的密码。

¡     确认密码:重复输入管理员账户密码,进行确认。

¡     数据同步方式:开启主从模式时需要配置该项,指的是主节点与从节点的消息同步方式,可选择同步或异步,默认同步。

¡     数据落盘方式:指的是RocketMQ消息持久化到数据盘的方式,分为同步,异步两种。

图9-5 业务详情

 

第三步:确认信息,查看集群基础配置、业务详情的详细信息,若检查配置无误可单击<确认信息并创建>按钮启动创建集群,若检查配置有误可返回上一步进行修改。

(4)     创建集群启动后,会跳转至集群列表页面,等待一段时间集群即可创建完成。


10 部署Elasticsearch

Elasticsearch是一个基于Apache Lucene的搜索和数据分析工具。Elasticsearch使用Lucene作为其核心来实现所有索引和搜索的功能,它通过简单的RESTful API来屏蔽Lucene的复杂性,从而让全文搜索变得简单。

10.1  Elasticsearch部署流程

图10-1 Elasticsearch部署流程总图

 

表10-1 部署Elasticsearch流程说明

步骤

是否必选

描述

开始

/

/

部署CloudOS

安装CloudOS服务器

必选

CloudOS平台是部署Elasticsearch云服务的基础底座,CloudOS IaaS提供部署Elasticsearch云服务时使用的云资源,因此在部署Elasticsearch之前,必须完成CloudOS平台和CloudOS IaaS的部署。

·     部署Elasticsearch时,对CloudOS平台和CloudOS IaaS的部署没有任何特殊要求,所以CloudOS平台和CloudOS IaaS的部署指导和详情直接参照CloudOS产品相关文档即可。

·     关于部署CloudOS平台和CloudOS IaaS时,与Elasticsearch相关的重点关注,详情请参见3 部署CloudOS

部署CloudOS平台

部署CloudOS IaaS

部署Base

必选

Base提供部署Elasticsearch云服务时的相关依赖等,因此在部署Elasticsearch之前,必须完成Base的部署,详情请参见4 部署Base

部署Elasticsearch安装包

上传安装包

必选

访问CloudOS管理页面,完成Elasticsearch安装包的上传和部署,详情请参见10.4  部署Elasticsearch安装包

Elasticsearch安装包部署成功后,在管理页面云服务的下拉菜单中可查看到Elasticsearch云服务。

部署安装包

必选

配置License

必选

生产环境中,Elasticsearch需要经过正式License授权之后,才可永久使用。详情请参见11 配置License

部署Elasticsearch集群

部署集群前要求

网络要求

必选

部署Elasticsearch集群之前,必须提前关注部署前要求,包括:网络要求、主机硬件要求等,详情请参见10.5.1  部署Elasticsearch集群前要求

主机硬件要求

部署集群前准备

准备云资源(虚拟机或裸金属,二选一)

必选

Elasticsearch云服务主机资源直接使用CloudOS IaaS纳管的资源。包括裸金属和虚拟机两种,根据实际情况二选一即可。主机资源准备完成以后,才可启动Elasticsearch集群部署,详情请参见10.5.2  部署Elasticsearch集群准备

新建集群

必选

访问CloudOS管理页面,完成Elasticsearch集群的创建,详情请参见10.5.3  新建Elasticsearch集群

结束

/

/

 

10.2  Elasticsearch安装包

部署Elasticsearch时,需要准备的软件安装包如表10-2所示。

表10-2 软件列表

软件

安装包名称

用途说明

获取方式

Elasticsearch安装包

cloudos-mqs-elasticsearch-<version>.zip

用于安装Elasticsearch

由H3C提供

 

注意

Elasticsearch安装包采用云形态进行部署,具有以下要求:

·     部署Elasticsearch安装包时,要求系统中必须已部署CloudOS Plat、CloudOS IaaS、Base。即部署顺序为:1)部署CloudOS Plat、2)部署CloudOS IaaS、3)部署Base、4)部署Elasticsearch。

·     部署Elasticsearch集群时,主机资源直接使用CloudOS IaaS纳管的云资源,包括虚拟机和裸金属两种,根据实际情况进行选择即可。

 

10.3  部署Elasticsearch前必读

部署Elasticsearch集群前,必须考虑以下要求:

·     Elasticsearch集群包括单节点以及集群两种模式。若采用单节点部署,则Elasticsearch集群部署在单节点上。若采用集群模式部署,每个Elasticsearch集群至少部署在3个节点上。系统内置了组件部署策略。根据现场实际情况和业务需求,进行Elasticsearch集群规划时需关注集群节点数目。

·     Elasticsearch集群主机资源直接使用CloudOS IaaS纳管的云资源,包括虚拟机和裸金属两种,根据实际情况进行选择即可,需要注意:

¡     Elasticsearch集群中的虚拟机或裸金属节点,网络要求和CloudOS集群中主机的网络互通。

¡     集群部署在虚拟机上时,需要关注主机节点的硬件配置要求。

【说明】虚拟机的节点规格可以在云平台的[云服务/云主机]管理页面的左侧导航树中进入[服务配置/云主机规格/组合规格]页面进行自定义新增,超过最小规格要求的节点规格才可被识别到。

¡     集群部署在裸金属上时,需要关注主机节点的硬件配置要求以及磁盘RAID方案。

【说明】裸金属的节点规格根据硬件配置自动获取,规格数据来自云平台的[资源/裸金属资源池]中处于“可分配”状态的节点。

10.4  部署Elasticsearch安装包

1. 上传Elasticsearch安装包

访问管理页面,上传Elasticsearch云服务安装包,步骤如下:

(1)     在顶部导航栏选择[系统]菜单项进入系统管理页面。

(2)     在左侧导航树中选择[服务与组件/部署向导],进入部署向导页面。

(3)     在部署向导页面,根据页面上提示上传cloudos-mqs-elasticsearch安装包到对应目录下。上传步骤如下:

通过sftp方式将cloudos-mqs-elasticsearch服务安装包上传至sftp://<IP>:/opt/sys-app/package-files文件夹下。

(4)     上传完成后,刷新列表并选择cloudos-mqs-elasticsearch服务安装配置。

图10-2 上传安装包

【说明】下图仅供参考,实际以用户使用的版本界面为准。

 

2. 部署安装包

访问管理页面,部署Elasticsearch云服务安装包,步骤如下:

(1)     在顶部导航栏选择[系统]菜单项进入系统管理页面。

(2)     在左侧导航树中选择[服务与组件/部署向导],进入部署向导页面。

(3)     勾选列表中的cloudos-mqs-elasticsearch安装包,此时按需求选择安装包版本,部署区域默认由系统自动分配。

(4)     安装包选择完成后,Elasticsearch安装包无高级配置参数,此时可直接单击<立即部署>按钮,等待部署成功。

(5)     安装包部署成功后,此安装包内的Elasticsearch默认为启用状态,此时可在顶部导航栏云服务的下拉列表中进行查看。

图10-3 部署安装包

【说明】下图仅供参考,实际以用户使用的版本界面为准。

 

10.5  部署Elasticsearch集群

10.5.1  部署Elasticsearch集群前要求

1. 网络要求

·     建议Elasticsearch集群的主机节点与CloudOS平台(CloudOS IaaS)在同一网段,即:Elasticsearch集群中的虚拟机或裸金属节点,网络要求和CloudOS集群中主机的网络互通。

·     配置集群的管理网络,需保证通过该网络创建的主机和云平台之间网络互通。管理网络需提前在云平台的[云服务/经典网络]中进行准备。

·     网络带宽要求在10Gb/s以上。

·     Elasticsearch集群中各节点之间不能跨越防火墙。

2. 主机要求

注意

·     部署Elasticsearch集群前,需要提前将裸金属加入到CloudOS IaaS的纳管中。

·     新建Elasticsearch集群时,同一个Elasticsearch集群中仅支持使用一种类型的云资源。

·     单节点Elasticsearch集群部署在1个节点上,集群版Elasticsearch集群至少部署在3个节点上。节点可以是裸金属或虚拟机。根据Elasticsearch集群使用的云资源不同,部署前准备也不同。

 

(1)     集群部署在虚拟机上时服务器配置要求

在Elasticsearch集群中,虚拟机的节点规格要求最小为2核CPU、8GB内存、40GB硬盘。虚拟机的节点规格可以在云平台的[云服务/云主机]管理页面的左侧导航树中进入[服务配置/云主机规格/组合规格]页面进行自定义新增,超过最小规格要求的节点规格才可被识别到。

(2)     集群部署在裸金属上时服务器硬件配置要求

¡     在Elasticsearch集群中,裸金属的节点规格根据硬件配置自动获取,规格数据来自云平台的[资源/裸金属资源池]中处于“可分配”状态的节点。

¡     系统盘与启动盘需要一致,系统盘是裸金属资源池中节点设置指定的系统盘,启动盘是服务器的启动盘。

¡     使用裸金属资源时,Elasticsearch集群各节点的磁盘RAID整体原则如下:

-     操作系统盘做RAID1。

-     Elasticsearch集群数据盘建议做RAID5。

表9-3 服务器硬件配置要求

配置项

最低配置要求

型号

主流服务器厂商x86服务器

数量

≥1台,单台配置如下

CPU

Intel Xeon V3系列或更新型号,总核数≥2路10核

主频:≥2.0 GHz

内存

≥64GB

系统盘

HDD(至少2块),推荐:每块盘容量≥600GB,转速≥10000r/min

数据盘

支持HDD(至少1块,可参考业务数据量规划磁盘数量和容量),推荐:转速≥10000r/min

支持SSD

RAID卡

缓存: ≥1GB,支持掉电保护

网卡

≥ 2个1000 Base-T 接口

≥ 2个10 Gbps SFP+ 接口(可选)

 

10.5.2  部署Elasticsearch集群准备

Elasticsearch集群的主机资源直接使用CloudOS IaaS纳管的云资源,包括两种类型:

·     裸金属资源

·     虚拟机资源

若云平台上已配置云资源,则Elasticsearch集群可直接使用,关于Elasticsearch对云资源的要求详情请参见10.5.1  2. 主机要求。若云平台上未配置云资源,则在部署Elasticsearch集群前,必须首先按要求准备云资源(根据实际需求,二选一即可),虚拟机或裸金属资源的配置请参见CloudOS云操作系统用户指南。

10.5.3  新建Elasticsearch集群

注意

·     普通用户新建集群时,需要走流程审批,待组织管理员审批通过后才能触发新建集群的操作。管理员用户新建集群时,会直接触发新建集群的操作。

·     若具有自定义角色的用户申请集群,需要为该用户的角色配置权限。如该用户为普通用户,创建自定义角色时需要为该角色配置申请创建集群权限;如该用户为管理员用户,创建自定义角色时需要为该角色配置创建集群权限。

·     集群名称具有唯一性,在CloudOS MQS的各云服务之间,不支持创建同名集群。

·     新建集群需要提前对节点数量、集群模式等进行规划。

·     新建集群前,要求在云平台中已完成云资源的准备。云资源包括裸金属和虚拟机两种,根据实际使用需求任选其一即可。

·     云主机初始化模式仅支持专业模式,驱动格式建议选择VFAT。用户可在[资源/虚拟机/计算节点]页面配置相应参数。

·     在Elasticsearch集群中,虚拟机的节点规格要求最小为2核CPU、8GB内存、40GB硬盘。虚拟机的节点规格可以在云平台的[云服务/云主机]管理页面的左侧导航树中进入[服务配置/云主机规格/组合规格]页面进行自定义新增,超过最小规格要求的节点规格才可被识别到。

·     新建集群时支持安装的组件类别和版本号,详情请以实际页面为准。

 

根据集群部署规划,在云资源准备完成以后,可新建Elasticsearch集群。

访问管理页面,新建Elasticsearch集群的步骤如下:

(1)     在顶部导航栏选择[云服务/分析搜索引擎Elasticsearch]菜单项进入对应管理页面。

(2)     在左侧导航树中选择[集群管理],进入集群管理页面,单击<新建集群>按钮,跳转至新建Elasticsearch集群页面。

(3)     新建Elasticsearch集群的向导包括以下3个配置步骤,根据页面提示配置对应参数项的值。

第一步:基础配置,参数说明如下:

·     基本信息

¡     集群名称:自定义输入符合命名规则的集群名称。

¡     资源模式:选择集群的资源形态,包含虚拟机集群和裸金属集群。

¡     集群描述:自定义添加集群的描述信息,以便于快速了解集群的相关信息。

¡     安装组件:选择Elasticsearch组件版本。

·     监控

¡     开启监控:选择是否打开集群监控,默认状态为开启,开启监控则需要设置监控周期。若开启监控,可监控Elasticsearch集群的状态和主机使用状态等。

¡     监控周期:开启监控后可设置监控周期,默认周期为15秒,可设置的周期区间为1-300秒,以此修改监控数据的抓取频率。

图10-4 基础配置

 

第二步:业务详情,虚拟机、裸金属业务详情参数不同,请根据实际情况选择,参数说明如下:

·     网络

¡     资源区域:配置集群使用的资源区域,资源区域对应集群节点的虚拟化类型。资源区域需提前在云平台的[资源/可用域/计算可用域]中进行准备。

¡     虚拟化类型:当前版本中,支持CAS、Vmware、BareMetal类型。当资源模式选择为“虚拟机集群”时,支持CAS、VMware类型;当资源模式选择为“裸金属集群”时,支持BareMetal类型。目前不支持集群中的多个节点属于不同的虚拟化类型。

¡     密钥对:配置密钥对后可实现通过密钥文件直接进行集群主机的免密登录。密钥对需提前在云平台的[云服务/云主机/密钥对]中进行准备。

¡     网络:配置集群的管理网络,才可以为Elasticsearch分配IP资源。经典网络需要在云平台的[云服务/经典网络]中进行准备。

【注意】网络需保证通过该网络创建的主机和云平台之间网络互通。目前不支持IPv6子网,只能选择配置了IPv4协议子网的经典网络。

¡     独立管理网络:开启时表示启用集群节点双网络功能,需配置独立管理网络和集群业务网络,裸金属集群模式不支持独立管理网络功能。

-     独立管理网络:默认为经典网络,请选择一个经典网络作为独立管理网络。

-     业务网络:默认为经典网络,请选择一个经典网络作为集群业务网络。

【注意】

-     经典网络需要在云平台的[云服务/经典网络]中进行准备。

-     独立管理网络需保证通过该网络创建的主机和云平台之间网络互通,主机间管理网网络互通。

-     业务网络要求主机间业务网网络互通。

-     开启独立管理网时,创建出的主机默认路由是业务网网关,该情况可能会导致平台与主机间管理网不通,需在管理网的经典网络下配置主机的独立管理网到平台网络的附加路由。

-     独立管理网络和业务网络目前不支持IPv6子网,只能选择配置了IPv4协议子网的经典网络。

·     计算存储

¡     集群模式:支持单机、集群,请根据实际情况进行选择。

-     单机:只有一个实例。

-     集群:多个实例,默认3个数据节点,可添加专有主节点和协调节点。支持三个及以上Elasticsearch实例。多个Elasticsearch实例时可以自动选举主节点监控维护集群状态,保证分片的分配,主节点异常时会重新选举,提供高可用服务。

¡     节点反亲和:当虚拟化类型为CAS且集群模式为“集群”时可开启节点反亲和,开启反亲和后创建的虚拟机节点会调度到不同的CVK上。

【说明】节点反亲和要求对应资源区域必须配置共享存储,且对于同一资源区域中的节点,节点数量不能大于该区域中已配置共享存储且实际可用容量大于节点存储总和、预留计算资源大于20%的物理主机数量(若物理主机同时作为CVM,则预留计算资源应大于40%) ,否则部分节点将创建异常,导致集群创建失败。

¡     节点数:数据节点数目。集群模式为“单机”时,节点数默认为1;集群模式为“集群”时,节点数支持3个及以上。

¡     集群VIP:当未开启独立管理网络,配置集群VIP。多子网时,必须指定VIP;单子网时,VIP可为空。

¡     集群管理网VIP:当开启独立管理网络,配置集群管理网VIP。来自所选独立管理网络的子网。如果所选独立管理网络当前只有一个子网,可以不填,系统自动从该子网中选择一个IP地址作为集群管理网VIP;若有2个或以上子网,则用户必须手动填写。

¡     集群节点:

-     节点类型:集群模式为“单机”时,集群节点为Elaticsearch实例;集群模式为“集群”时,集群节点为存储Elaticsearch数据的数据节点。

-     节点规格:支持最小实例规格2核CPU、8GB内存、40GB硬盘。同一节点类型的节点规格必须完全一样,请根据实际情况进行选择。

-     节点IP:当未开启独立管理网络,为节点指定IP,IP必须位于所选网络的网段内,未填写时将由系统自动分配节点IP。如果所选网络有2个或以上子网,则用户必须手动填写。

-     节点业务网IP/节点管理网IP:当已开启独立管理网络,需配置节点业务网IP和节点管理网IP,分别来自所选业务网络的子网和独立管理网络的子网。若业务网络/独立管理网络有2个或以上子网,则用户必须手动填写。

¡     专有主节点:当集群模式为“集群”时,可设置是否开启专有主节点。

【说明】专有主节点的主要功能是对集群进行操作,例如创建或删除索引,跟踪哪些节点是集群的一部分,并决定哪些分片分配给相关的节点。稳定的主节点对集群健康非常重要。默认情况下集群任一节点都可能被选为主节点,索引数据和搜索查询等操作会占用大量的CPU、内存和IO资源。为了集群的稳定性,建议设置专有主节点,分离主节点和数据节点。

-     专有节点数:支持3个及以上,最大值为63个,且需为奇数。默认为3个。

-     集群节点:开启专有主节点时,集群节点的节点类型为“专有主节点”;节点规格可根据实际情况选择,同一节点类型的节点规格必须完全一样,支持的最小节点规格为2核CPU、8GB内存、40GB硬盘;节点IP为节点指定IP,未开启独立管理网络时该参数可见,IP必须位于所选网络的网段内;当已开启独立管理网络,需配置节点业务网IP和节点管理网IP,分别来自所选业务网络的子网和独立管理网络的子网。若业务网络/独立管理网络有2个或以上子网,用户必须手动填写。

¡     协调节点:当集群模式为“集群”时,可设置是否开启协调节点。

【说明】协调节点可以分担数据节点的CPU开销,从而提高处理性能和服务稳定性。如果您的业务是CPU密集型的业务,建议配置协调节点。

-     协调节点数:支持1个及以上,须至少保持1个。

-     集群节点:开启协调节点时,集群节点的节点类型为“协调节点”;节点规格可根据实际情况选择,同一节点类型的节点规格必须完全一样,支持的最小节点规格为2核CPU、8GB内存、40GB磁盘;节点IP为节点指定IP,未开启独立管理网络时该参数可见,IP必须位于所选网络的网段内;当已开启独立管理网络,需配置节点业务网IP和节点管理网IP,分别来自所选业务网络的子网和独立管理网络的子网。若业务网络/独立管理网络有2个或以上子网,用户必须手动填写。

¡     自定义镜像:不开启时集群创建使用服务内置的默认镜像。开启时,可指定自定义镜像来创建集群。自定义镜像需在创建集群前通过[云服务/镜像]上传至云平台,并通过Elasticsearc服务的[镜像管理/添加自定义镜像]添加到该服务中。

·     Elasticsearch业务

¡     管理用户:默认配置集群管理用户为elastic,该管理用户用来连接Elasticsearch集群服务。

¡     密码:配置集群管理用户elastic的密码,支持自定义输入符合规则的密码。

¡     确认密码:重复输入集群管理用户elastic的密码,进行确认。

图10-5 业务详情

 

 

第三步:确认信息,查看集群基础配置、业务详情的详细信息,若检查配置无误可单击<确认信息并创建>按钮启动创建集群,若检查配置有误可返回上一步进行修改。

(4)     创建集群启动后,会跳转至集群列表页面,等待一段时间集群即可创建完成。


11 配置License

中间件云服务安装完成后,均可在180天内试用所有功能。超过试用期限后,需要获取License授权才能正常使用。

Kafka、RabbitMQ、ActiveMQ、ZooKeeper、RocketMQ、Elasticsearch的授权均为“数量型授权”(即对集群数量进行管控)。关于中间件License授权详情请参见《H3C 中间件 License支持情况说明》。

11.1  License远程授权操作

中间件云服务需通过License Server获取授权,在进行中间件的License配置时,需提前完成License远程授权相关操作,详情请参见《H3C软件产品远程授权License使用指南》。

11.2  配置License

访问CloudOS管理页面,成功连接到License Server的客户端后,Kafka、RabbitMQ、ActiveMQ、ZooKeeper、RocketMQ、Elasticsearch可以向License Server请求授权并将请求结果展示在页面上。

配置License的步骤如下:

(1)     访问管理页面,在顶部导航栏选择[系统]菜单项进入系统管理页面。

(2)     在左侧导航树中选择[软件授权],进入License管理页面。

(3)     License管理页面上方展示“License Server配置”,页面下方显示“授权信息”,下面对这两部分进行详细介绍。

图11-1 License管理

 

¡     License Server配置

License Server配置栏显示管理页面与License Server客户端连接时的配置信息。单击左上角的<配置>按钮可对License Server客户端连接信息进行配置,参数说明如下:

-     授权服务IP地址:License Server客户端所在主机的IP地址。

-     授权服务端口:License Server授权服务端口号,缺省为“5555”。

-     客户端名称:License Server中设置的客户端名称。

-     客户端密码:License Server中设置的客户端名称对应的密码。

通过这些配置信息,单击<确认>按钮即可连接到对应的License Server客户端自动获取授权信息。

说明

·     License配置时填写的用户名和密码必须为License Server中创建的客户端的名称和密码。

·     单击<连接>按钮后,若无法连接到License Server,会弹出错误提示信息,此时则需要检查输入是否正确或者License Server是否正常运行。

 

¡     授权信息

管理页面和License Server定期通信更新授权状态,授权信息栏可查看当前系统中授权使用情况。当License Server上的授权信息变更时,单击<同步>按钮可手动刷新当前授权信息列表。其中:

-     获得授权:从License Server获取到的授权状态。对于数量型授权,该值为实际获取的授权数量;对于功能型授权,该值为true(获取授权成功)或false(获取授权失败)。

-     使用授权:对于数量型授权,该值表示已经使用的授权数量;对于功能型授权,该值为空。

-     剩余有效时间:对于正式授权,该值为“永久”。

说明

在生产环境中,CloudOS云操作系统的使用也需要相应授权的支持,请确保在License Server上安装相关的授权。

 


12 安装后检查

12.1  主机检查

访问管理页面,检查某集群中主机运行状态的步骤如下:

(1)     在顶部导航栏选择[云服务/云服务名]菜单项进入对应云服务的管理页面。

(2)     在左侧导航树中选择[集群管理],进入集群管理页面。

(3)     在集群管理页面,选择[集群列表]页签,单击某集群名称可跳转至对应的集群详情页面。

(4)     在集群详情页面的[主机]页签,可查看集群中的主机列表及主机运行状态。检查范围包括:

¡     检查部署的集群中所有节点是否都在主机列表中。

¡     检查所有主机状态是否都正常。

-     若集群运行状态为“在线”,则表示主机正常。

-     若集群运行状态为“离线”,则表示主机已关机或存在其他故障,需要检查。

图12-1 主机健康状况

 

12.2  组件检查

访问管理页面,检查某集群中组件运行状态的步骤如下:

(1)     在顶部导航栏选择[云服务/云服务名]菜单项进入对应云服务的管理页面。

(2)     在左侧导航树中选择[集群管理],进入集群管理页面。

(3)     在集群管理页面,选择[集群列表]页签,单击某集群名称可跳转至对应的集群详情页面。

(4)     在集群详情页面的[组件]页签,可查看集群中的组件列表及组件运行状态。检查范围包括:

¡     检查部署的集群中已部署的所有组件是否都在组件列表中。

¡     检查所有组件状态是否都正常。

图12-2 组件健康状况

 

12.3  数据盘检查

说明

仅当Kafka、RabbitMQ、RocketMQ、Elasticsearch集群部署时选择了裸金属主机,才需要在集群部署完成后检查数据盘。

 

12.3.1  Kafka集群数据存储位置检查

说明

Kafka不支持在部署集群时自定义数据目录,在集群部署成功之后也不支持修改数据目录。

 

新建Kafka集群时,系统内置了Kafka数据盘的选择策略及磁盘挂载策略,即:部署Kafka集群时,将同时对主机节点执行安装操作系统、磁盘挂载等操作,系统缺省将裸金属节点上的数据盘分别挂载到/volume/disk*目录下,然后Kafka集群会从集群内的所有主机节点上识别出所有数据目录的交集(即在各个节点上都存在的目录)做为Kafka数据存储目录。

【注意】部署Kafka集群之前,需要按照5.5.1  2. (2)集群部署在裸金属上时服务器硬件配置要求中裸金属磁盘RAID要求对Kafka各节点的裸金属节点配置磁盘RAID,才能实现预期分配目的。

1. Kafka数据存储位置检查

为保证Kafka集群数据的正常存储需求,集群部署完成后,需要对Kafka数据存储位置做检查。Kafka集群数据存储位置检查步骤如下:

(1)     通过前端页面查看Kafka集群的数据存储路径

进入Kafka组件详情页面,在配置页签查看Kafka配置中log.dirs配置项的值。如图12-3所示,Kafka集群的数据存储路径为/volumes/disk*/kafka-logs(Kafka集群的数据目录可能同时有多个,具体情况视磁盘个数而定)。

图12-3 查看Kafka集群的数据目录

 

(2)     通过后台命令查看Kafka集群的数据存储路径对应的磁盘详情

登录Kafka集群任一节点,执行df -h /volumes/disk1/kafka-logs命令即可查看Kafka集群的数据目录使用的磁盘,确认磁盘空间足够大即可(数据目录有多个的时候,需要分别查看/volume/disk*/kafka-logs)。

图12-4 查看Kafka集群的数据目录对应的磁盘详情

 

12.3.2  RabbitMQ集群数据存储位置检查

说明

RabbitMQ不支持在部署集群时自定义数据目录,在集群部署成功之后也不支持修改数据目录。

 

新建RabbitMQ集群时,系统内置了RabbitMQ数据盘的选择策略及磁盘挂载策略,即:部署RabbitMQ集群时,将同时对主机节点执行安装操作系统、磁盘挂载等操作,系统缺省将裸金属节点上的数据盘分别挂载到/volume/disk*目录下,然后RabbitMQ集群会从集群内的所有主机节点上识别出所有数据目录的交集(即在各个节点上都存在的目录)做为RabbitMQ数据存储目录。

【注意】部署RabbitMQ集群之前,需要按照6.5.1  2. (2)集群部署在裸金属上时服务器硬件配置要求中裸金属磁盘RAID要求对RabbitMQ各节点的裸金属节点配置磁盘RAID,才能实现预期分配目的。

1. RabbitMQ数据存储位置检查

为保证RabbitMQ集群数据的正常存储需求,集群部署完成后,需要对RabbitMQ数据存储位置做检查。RabbitMQ集群数据存储位置检查步骤如下:

(1)     通过前端页面查看RabbitMQ集群的数据存储路径

进入RabbitMQ组件详情页面,在配置页签查看RabbitMQ配置中rabbitmq_data_location配置项的值。如图12-5所示,RabbitMQ集群的数据存储路径为/volumes/disk*/rabbitmq/data(RabbitMQ集群的数据目录可能同时有多个,具体情况视磁盘个数而定)。

图12-5 查看RabbitMQ集群的数据目录

 

(2)     通过后台命令查看RabbitMQ集群的数据存储路径对应的磁盘详情

登录RabbitMQ集群任一节点,执行df -h /volumes/disk1/rabbitmq/data命令即可查看RabbitMQ集群的数据目录使用的磁盘,确认磁盘空间足够大即可(数据目录有多个的时候,需要分别查看/volume/disk*/rabbitmq/data)。

图12-6 查看RabbitMQ集群的数据目录对应的磁盘详情

 

12.3.3  RocketMQ集群数据存储位置检查

说明

RocketMQ不支持在部署集群时自定义数据目录,在集群部署成功之后也不支持修改数据目录。

 

新建RocketMQ集群时,系统内置了RocketMQ数据盘的选择策略及磁盘挂载策略,即:部署RocketMQ集群时,将同时对主机节点执行安装操作系统、磁盘挂载等操作,系统缺省将裸金属节点上的数据盘分别挂载到/volume/disk*目录下,然后RocketMQ集群会从集群内的所有主机节点上识别出所有数据目录的交集(即在各个节点上都存在的目录)做为RocketMQ数据存储目录。

【注意】部署RocketMQ集群之前,需要按照9.5.1  2. (2)集群部署在裸金属上时服务器硬件配置要求中裸金属磁盘RAID要求对RocketMQ各节点的裸金属节点配置磁盘RAID,才能实现预期分配目的。

1. RocketMQ数据存储位置检查

为保证RocketMQ集群数据的正常存储需求,集群部署完成后,需要对RocketMQ数据存储位置做检查。RocketMQ集群数据存储位置检查步骤如下:

(1)     通过前端页面查看RocketMQ集群的数据存储路径

进入RocketMQ组件详情页面,在配置页签查看RocketMQ配置中data_location配置项的值。如图12-7所示,RocketMQ集群的数据存储路径为/volumes/disk*/rocketmq/data(RocketMQ集群的数据目录可能同时有多个,具体情况视磁盘个数而定)。

图12-7 查看RocketMQ集群的数据目录

 

(2)     通过后台命令查看RocketMQ集群的数据存储路径对应的磁盘详情

登录RocketMQ集群任一节点,执行df -h /volumes/disk1/rocketmq/data命令即可查看RocketMQ集群的数据目录使用的磁盘,确认磁盘空间足够大即可(数据目录有多个的时候,需要分别查看/volume/disk*/rocketmq/data)。

图12-8 查看RocketMQ集群的数据目录对应的磁盘详情

 

12.3.4  Elasticsearch集群数据存储位置检查

说明

Elasticsearch不支持在部署集群时自定义数据目录,在集群部署成功之后也不支持修改数据目录。

 

新建Elasticsearch集群时,系统内置了Elasticsearch数据盘的选择策略及磁盘挂载策略,即:部署Elasticsearch集群时,将同时对主机节点执行安装操作系统、磁盘挂载等操作,系统缺省将裸金属节点上的数据盘分别挂载到/volume/disk*目录下,然后Elasticsearch集群会从集群内的所有主机节点上识别出所有数据目录的交集(即在各个节点上都存在的目录)做为Elasticsearch数据存储目录。

【注意】部署Elasticsearch集群之前,需要按照10.5.1  2. (2) 集群部署在裸金属上时服务器硬件配置要求中裸金属磁盘RAID要求对Elasticsearch各节点的裸金属节点配置磁盘RAID,才能实现预期分配目的。

1. Elasticsearch数据存储位置检查

为保证Elasticsearch集群数据的正常存储需求,集群部署完成后,需要对Elasticsearch数据存储位置做检查。Elasticsearch集群数据存储位置检查步骤如下:

(1)     通过前端页面查看Elasticsearch集群的数据存储路径

进入Elasticsearch组件详情页面,在[配置]页签查看Elasticsearch配置中path.data配置项的值。如图12-9所示,Elasticsearch集群的数据存储路径为/volumes/disk*/elasticsearch/data(Elasticsearch集群的数据目录可能同时有多个,具体情况视磁盘个数而定)。

图12-9 查看Elasticsearch集群的数据目录

 

(2)     通过后台命令查看Elasticsearch集群的数据存储路径对应的磁盘详情

登录Elasticsearch集群任一节点,执行df -h /volumes/disk1/elasticsearch/data命令即可查看Elasticsearch集群的数据目录使用的磁盘,确认磁盘空间足够大即可(数据目录有多个的时候,需要分别查看/volume/disk*/elasticsearch /data)。

图12-10 查看Elasticsearch集群的数据目录对应的磁盘详情

 


13 卸载

13.1  删除集群

注意

·     当集群中有正在运行的任务时,删除集群后集群中的所有任务都将被同步删除。

·     删除集群时,会同步删除该集群包含的所有主机,此时删除后的主机不可直接再被其他集群使用。

·     对于Kafka云服务,因在CloudOS系统中日志服务依赖Kafka集群,所以当某个Kafka集群或Elasticsearch集群被日志服务占用时,Kafka集群、Kafka数据同步集群或Elasticsearch集群不允许被删除。

 

集群在使用过程中,根据实际需要,可执行删除集群的操作。

(1)     在服务管理页面的左侧导航树中选择[集群管理],进入集群管理页面。

(2)     在集群管理页面,选择[集群列表]页签,单击某集群对应的<删除>按钮并在弹窗中进行确定后,即可删除该集群。

图13-1 删除集群

 

13.2  删除云服务

删除服务表示删除云平台中已安装的云服务。

注意

·     在生产环境中,删除云服务功能不可回退或暂停,请谨慎使用。

·     删除云服务前(Base包除外),请确保对应云服务的集群或实例已全部删除。

·     若环境中仍有其他服务依赖Base包,则不可删除Base包云服务,以免造成数据丢失以及服务不可用。

 

(1)     在系统页面的左侧导航树中选择[服务与组件],进入服务列表页面。

(2)     在服务列表页面,选择[云服务]页签,单击某服务对应的<删除>按钮并在弹窗中进行确定后,即可删除该服务。

图13-2 删除服务

【说明】下图仅供参考,实际以用户使用的版本界面为准。

 


14 常见问题解答

14.1  查看组件的日志信息

表14-1 组件日志路径说明

组件

日志路径

Kafka

默认路径:/var/log/kafka/user_kafka,安装时开启自定义目录时,在自定义目录下查找

RabbitMQ

/var/log/rabbitmq/主机名.log

说明:当RabbitMQ集群包含多个主机节点时,每个主机下面都有一个.log文件,需要分别登录不同主机上查看各主机对应的.log文件

ActiveMQ

/var/lib/activemq/activemq.log

说明:当搭建ActiveMQ主从模式时,每个主机下对应的上述目录下都有一个日志文件,需要分别登陆到不同的主机上查看对应的日志信息

ZooKeeper

虚机模式的日志路径:/var/log/zookeeper/

容器模式的日志路径:/logs

说明:

·     需要后台进入容器中查看日志

·     一个zk集群有多个zk实例,每个实例对应一个pod,需进入对应的pod中查看各实例的log文件

Elasticsearch

/var/log/Elasticsearch

当Elasticsearch集群包含多个主机节点时,每个主机下面都有一个.log文件,需要分别登录不同主机上查看各主机对应的.log文件

RocketMQ

/var/log/rocketmq

说明:该目录下有rocketmq各个组件的日志,其中namesrv和broker的目录相同,都是rocketmqlogs

 

不同款型规格的资料略有差异, 详细信息请向具体销售和400咨询。H3C保留在没有任何通知或提示的情况下对资料内容进行修改的权利!

新华三官网
联系我们