01-正文
本章节下载: 01-正文 (1.85 MB)
目 录
本手册适用于中间件云服务的安装部署指导,包括:
· 部署Kafka
Kafka是一个基于ZooKeeper的分布式消息流平台,Kafka的消息具有多分区,多副本特点。Kafka同时也是一款开源的基于发布订阅模式、为解决应用耦合和流量削峰而存在的分布式消息系统。
· 部署RabbitMQ
RabbitMQ是实现了高级消息队列协议(AMQP)的消息中间件,使用Erlang语言开发。RabbitMQ作为目前应用相当广泛的消息中间件,在企业级应用、微服务应用中充当着重要的角色。
· 部署ActiveMQ
ActiveMQ遵循JMS1.1规范(Java Message Service),是消息队列服务和面向消息中间件(MOM)的最终实现,它为企业消息传递提供了高可用、可扩展性、稳定性和安全保障。
· 部署ZooKeeper
ZooKeeper是一个分布式的应用程序协调服务。它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。
表1-1 相关术语说明
术语 |
说明 |
|
集群 |
通过Kafka、RabbitMQ、ActiveMQ和ZooKeeper部署/管理的中间件服务 |
|
KaaS集群 |
Kubernetes as a Service,是基于K8s环境的KaaS集群。KaaS集群是容器集群运行的环境。 |
|
组件 |
集群中的应用组件,对外提供某种业务功能,例如:Kafka、RabbitMQ、ActiveMQ、ZooKeeper等 |
|
进程 |
进程是组件的组成部分,每个组件由一个或多个进程组成 |
|
实例 |
组件中的进程部署在不同节点上,将节点划分为不同的实例 |
|
集群状态 |
健康 |
集群中组件运行正常时,对应集群将处于健康状态 |
不健康 |
集群中组件运行状态异常时,对应集群将处于不健康状态 |
部署Kafka、RabbitMQ、ActiveMQ、ZooKeeper时,需要准备的软件安装包如表2-1所示。
软件 |
安装包名称 |
用途说明 |
获取方式 |
Base安装包 |
cloudos-dbaas-base-<version>.zip |
用于安装DBaaS部分云服务的公共依赖 |
由H3C提供 |
Kafka安装包 |
cloudos-dbaas-kafka-<version>.zip |
用于安装Kafka |
由H3C提供 |
RabbitMQ安装包 |
cloudos-dbaas-rabbitmq-<version>.zip |
用于安装RabbitMQ |
由H3C提供 |
ActiveMQ安装包 |
cloudos-dbaas-activemq-<version>.zip |
用于安装ActiveMQ |
由H3C提供 |
ZooKeeper安装包 |
cloudos-dbaas-zookeeper-<version>.zip |
用于安装ZooKeeper |
由H3C提供 |
访问管理页面时,支持的浏览器如下:
· Chrome 68及以上版本
· 关于CloudOS服务器的安装指导和注意事项,详情请参见H3C CloudOS产品相关文档。
· 部署Kafka、RabbitMQ、ActiveMQ、ZooKeeper时,对CloudOS服务器的安装无特别要求。
· 关于CloudOS平台的部署指导,详情请参见H3C CloudOS产品相关文档。
· 部署Kafka、RabbitMQ、ActiveMQ、ZooKeeper时,对CloudOS平台的安装无特别要求。
CloudOS平台部署成功后,即可访问管理页面。在管理页面上,可完成以下操作:
· 部署CloudOS IaaS
· 部署Base
· 部署Kafka、RabbitMQ、ActiveMQ、ZooKeeper云服务
· 部署集群、管理集群、管理资源/权限、管理工单/流程等
· 关于CloudOS IaaS的部署指导,详情请参见H3C CloudOS产品相关文档。
· 部署Kafka、RabbitMQ、ActiveMQ、ZooKeeper时,对CloudOS IaaS的安装无特别要求。
CloudOS IaaS部署成功后,可提供部署Kafka、RabbitMQ、ActiveMQ、ZooKeeper时所需要的裸金属资源或虚拟机资源。关于裸金属资源或虚拟机资源的配置方法详情,请参见CloudOS云操作系统在线帮助。
· CloudOS DBaaS Base基础依赖包(以下简称Base包)提供Kafka、RabbitMQ、ActiveMQ、ZooKeeper集群部署时的依赖、主机监控及HTTP服务等公共部分。
· Kafka、RabbitMQ、ActiveMQ、ZooKeeper云服务都依赖Base包,在同一个CloudOS系统中,Base仅需部署一次。若CloudOS系统中已部署过Base,请直接跳过此章节即可。
· 部署CloudOS DBaaS Base基础依赖包时,需同时配套CloudOS Plat和CloudOS IaaS版本使用,即安装Base包之前需要先完成CloudOS Plat(此时还需保证系统组件包harbor也已经安装成功)和CloudOS IaaS的部署。
· DBaaS产品中各个云服务与Base的依赖关系,详情可查阅各个云服务部署对应的章节说明。
· 在同一个CloudOS系统中,当多个云服务都依赖Base时,Base仅需部署一次。
· 部署Base时,需要提前准备独立的共享存储服务器,以满足申请共享存储卷的使用需求。Base对共享存储的要求请参见4.2 准备共享存储卷。
· 外部共享存储如iSCSI、FC等,存储设备需要与CloudOS平台进行映射操作,否则CloudOS平台将无法识别该存储卷,具体映射存储卷的方式,请参见《H3C CloudOS 5.0 云操作系统部署指导》
· 增加共享存储卷时,因所有共享存储卷均需进行格式化操作,所以请务必确认存储卷中是否存在需要备份的数据,若有请将数据迁移至其他设备。
Base采用共享存储,部署Base包前,需要提前准备共享存储卷,用于存储监控数据或日志文件。需准备的共享存储卷和建议大小如表4-1所示。
表4-1 cloudos-dbaas-base包共享存储要求
类别 |
推荐大小 |
说明 |
≥100G |
用于存储云服务安装包 |
|
dbaas-monitor |
DBaaS集群节点数*1G |
用于存储具体服务的监控数据 |
请检查存储卷的容量是否满足要求,不满足要求的存储卷会造成软件运行故障。具体要求请参见表4-1。
部署Base包前,需要添加共享存储卷。根据要求准备共享存储卷后,即可访问管理页面将准备好的2个共享存储卷分别添加到CloudOS系统中,步骤如下:
(1) 在顶部导航栏选择[资源]菜单项进入资源管理页面。
(2) 在左侧导航树中选择[容器/Default],进入默认容器页面。
(3) 在默认容器页面,选择[存储]页签,进入存储管理页面,根据存储卷类型选择PV类型,单击<增加存储卷>按钮,分别将准备好的2个存储卷增加到CloudOS系统中。
图4-1 增加共享存储卷
(3) 配置完成后,单击<确定>按钮,即可增加存储卷成功。
上传cloudos-dbaas-base-<version>.zip安装包,步骤如下:
(1) 访问管理页面,在[系统/服务与组件/部署向导]页面,可查看软件安装包的存放位置(sftp连接服务器IP地址时,用户名root,默认密码Passw0rd@_)。
(2) 按照部署向导页面的提示信息,将软件安装包上传至指定路径下。
(3) 上传完成后,单击<刷新列表>按钮即可在管理页面上查看到软件安装包的相关信息。
图4-2 上传安装包
部署cloudos-dbaas-base-<version>.zip安装包,步骤如下:
(1) 访问管理页面,在[系统/服务与组件/部署向导]页面,勾选OS service下的cloudos-dbaas-base后,可对该服务进行相关配置。
(2) 在高级配置页面根据推荐大小选择已配置的共享存储卷,具体要求如表4-1所示。
(3) 配置完成后,单击页面右下角的<立即部署>按钮,即可启动部署安装包。部署成功后,Base默认为启用状态。
图4-3 部署安装包
Base包部署完成后,在[系统/服务与组件/服务列表]页面,可检查Base版本和服务状态,如图4-4所示。
图4-4 Base包及版本号
单击服务名称进入云服务详情页面,在[服务]页签中,检查Base包中所含服务状态是否均为正常,如图4-5所示。
Kafka是一个基于ZooKeeper的分布式消息流平台,Kafka的消息具有多分区,多副本特点。Kafka同时也是一款开源的基于发布订阅模式、为解决应用耦合和流量削峰而存在的分布式消息系统。
图5-1 Kafka部署流程总图
表5-1 部署Kafka流程说明
步骤 |
是否必选 |
描述 |
||||
开始 |
/ |
/ |
||||
部署CloudOS |
安装CloudOS服务器 |
必选 |
CloudOS平台是部署Kafka云服务的基础底座,CloudOS IaaS提供部署Kafka云服务时使用的云资源,因此在部署Kafka之前,必须完成CloudOS平台和CloudOS IaaS的部署。 · 部署Kafka时,对CloudOS平台和CloudOS IaaS的部署没有任何特殊要求,所以CloudOS平台和CloudOS IaaS的部署指导和详情直接参考CloudOS产品相关文档即可。 · 关于部署CloudOS平台和CloudOS IaaS时,与Kafka相关的重点关注,详情请参见3 部署CloudOS。 |
|||
部署CloudOS平台 |
||||||
部署CloudOS IaaS |
||||||
部署Base |
必选 |
Base提供部署Kafka云服务时的相关依赖等,因此在部署Kafka之前,必须完成Base的部署,详情请参见4 部署Base。 |
||||
部署Kafka安装包 |
上传安装包 |
必选 |
访问CloudOS管理页面,完成Kafka安装包的上传和部署,详情请参见5.4 部署Kafka安装包。 Kafka安装包部署成功后,在管理页面云服务的下拉菜单中可查看到Kafka云服务。 |
|||
部署安装包 |
必选 |
|||||
配置License |
必选 |
|||||
部署Kafka集群 |
部署集群前要求 |
网络要求 |
必选 |
部署Kafka集群之前,必须提前关注部署前要求,包括:网络要求、主机硬件要求、KaaS集群要求等,详情请参见5.5.1 部署Kafka集群前要求。 |
||
主机硬件要求 |
||||||
KaaS集群要求 |
||||||
部署集群前准备 |
准备云资源(虚拟机、裸金属或KaaS集群) |
必选 |
Kafka裸金属和虚拟机集群所用的云服务主机资源直接使用CloudOS IaaS纳管的资源,根据实际情况二选一即可。Kafka容器集群使用云容器引擎中创建的KaaS集群资源。主机资源或KaaS集群准备完成以后,才可启动Kafka集群部署,详情请参见5.5.2 部署Kafka集群前准备。 |
|||
新建集群 |
必选 |
|||||
结束 |
/ |
/ |
||||
部署Kafka时,需要准备的软件安装包如表5-2所示。
软件 |
安装包名称 |
用途说明 |
获取方式 |
Kafka安装包 |
cloudos-dbaas-kafka-<version>.zip |
用于安装Kafka |
由H3C提供 |
Kafka安装包采用云形态进行部署,具有以下要求:
· 部署Kafka安装包时,要求系统中必须已部署CloudOS Plat、CloudOS IaaS、Base。即部署顺序为:1)部署CloudOS Plat、2)部署CloudOS IaaS、3)部署Base、4)部署Kafka。
· 部署Kafka虚拟机或裸金属集群时,主机资源直接使用CloudOS IaaS纳管的云资源。部署Kafka容器集群时,使用云容器引擎创建的KaaS集群资源,根据实际情况进行选择即可。
· 部署Kafka容器集群时,需使用已创建好的KaaS集群,KaaS集群的创建可详见H3C CloudOS产品相关文档。
部署Kafka集群前,必须考虑以下要求:
· 在Kafka云服务中,涉及告警监控的操作,需获取高级运维功能License授权后才可以正常使用相应功能。
· 部署Kafka容器集群前,需要先创建KaaS集群。在云平台[云服务/云容器引擎/集群]新建KaaS集群时要求Kubernetes版本1.15.0+。
· 创建KaaS集群之后,需在KaaS集群中创建StorageClass。新建容器集群时,依赖该StorageClass。
· 当资源模式为虚拟机或裸金属集群时,Kafka集群至少部署在3个节点上,系统内置了组件部署策略。根据现场实际情况和业务需求,进行Kafka集群规划时需关注集群节点数目。
· 新建Kafka虚拟机和裸金属集群时默认开启安全管理。若在新建集群时没有开启安全管理,则后续在使用过程中将再也无法开启。所以在生产环境中,强烈建议新建非容器集群时开启安全管理。
· Kafka虚拟机和裸金属集群的主机资源直接使用CloudOS IaaS纳管的云资源。Kafka容器集群使用云容器引擎创建的KaaS集群资源,根据实际情况进行选择即可,需要注意:
¡ Kafka集群中的虚拟机、裸金属和KaaS集群节点,网络要求和CloudOS集群中主机的网络互通。
¡ 集群部署在虚拟机上时,需要关注主机节点的硬件配置要求。
【说明】虚拟机的节点规格可以在云平台的[云服务/云主机]管理页面的左侧导航树中进入[服务配置/云主机规格/组合规格]页面进行自定义新增,超过最小规格要求的节点规格才可被识别到。
¡ 集群部署在裸金属上时,需要关注主机节点的硬件配置要求以及磁盘RAID方案。
【说明】裸金属的节点规格根据硬件配置自动获取,规格数据来自云平台的[资源/裸金属资源池]中处于“可分配”状态的节点。
¡ 集群部署在KaaS集群上时,需要关注KaaS集群工作节点的硬件配置要求。
【说明】KaaS集群的规格在创建KaaS集群时定义,可通过云平台的[云服务/云容器引擎/集群]创建KaaS集群时定义规格或创建成功后单击对应的集群名查看详情。工作节点可以在创建KaaS集群时同步创建,也可以在已创建好的KaaS里新增工作节点。
访问管理页面,上传Kafka云服务安装包,步骤如下:
(1) 在顶部导航栏选择[系统]菜单项进入系统管理页面。
(2) 在左侧导航树中选择[服务与组件/部署向导],进入部署向导页面。
(3) 在部署向导页面,根据页面上提示上传cloudos-dbaas-kafka安装包到对应目录下。上传步骤如下:
通过sftp方式将cloudos-dbaas-kafka服务安装包上传至sftp://<IP>:/opt/sys-app/package-files文件夹下。
(4) 上传完成后,刷新列表并选择cloudos-dbaas-kafka服务安装配置。
图5-2 上传安装包
访问管理页面,部署Kafka云服务安装包,步骤如下:
(1) 在顶部导航栏选择[系统]菜单项进入系统管理页面。
(2) 在左侧导航树中选择[服务与组件/部署向导],进入部署向导页面。
(3) 勾选列表中的cloudos-dbaas-kafka安装包,此时按需求选择安装包版本,部署区域默认由系统自动分配。
(4) 安装包选择完成后,Kafka安装包无高级配置参数,此时可直接单击<立即部署>按钮,等待部署成功。
(5) 安装包部署成功后,此安装包内的Kafka云服务默认为启用状态,此时可在顶部导航栏云服务的下拉列表中进行查看。
图5-3 部署安装包
· 建议Kafka虚拟机和裸金属集群的主机节点与CloudOS平台(CloudOS IaaS)在同一网段,即:Kafka集群的主机节点,网络要求和CloudOS集群中主机的网络互通。
· 配置集群的管理网络,需保证通过该网络创建的主机和云平台之间网络互通。管理网络需提前在云平台的[云服务/经典网络]中进行准备。
· 部署容器集群时,建议KaaS集群与CloudOS平台在同一网段,即:KaaS集群网络要求和CloudOS集群中主机的网络互通。
· 网络带宽要求在10Gb/s以上。
· Kafka集群中各节点之间不能跨越防火墙。
· 部署Kafka裸金属或虚拟机集群前,需要提前将裸金属加入到CloudOS IaaS的纳管中,创建集群成功后,裸金属或虚拟机的root用户默认密码是Passw0rd@_。
· 新建Kafka集群时,同一个Kafka集群中仅支持使用一种类型的云资源。
(1) 集群部署在虚拟机上时服务器硬件配置要求
在Kafka集群中,虚拟机的节点规格要求最小为2*8*40(即2核CPU*8GB内存*40GB硬盘)。虚拟机的节点规格可以在云平台的[云服务/云主机]管理页面的左侧导航树中进入[服务配置/云主机规格/组合规格]页面进行自定义新增,超过最小规格要求的节点规格才可被识别到。
¡ 在Kafka集群中,裸金属的节点规格根据硬件配置自动获取,规格数据来自云平台的[资源/裸金属资源池]中处于“可分配”状态的节点。
¡ 系统盘与启动盘需要一致,系统盘是裸金属资源池中节点设置指定的系统盘,启动盘是服务器的启动盘。
¡ 使用裸金属资源时,Kafka集群各节点的磁盘RAID整体原则如下:
- 操作系统盘做RAID1。
- Kafka集群数据盘建议做单盘RAID0或直接裸磁盘(不做RAID)。
(3) 集群部署在KaaS集群上时,KaaS集群硬件配置要求
在Kafka容器集群中,实例的规格要求最小为1CPU*4GB*128GB(即1核CPU*4GB内存*128GB硬盘)。KaaS集群的规格在创建KaaS集群时确定,通过云平台的[云服务/云容器引擎] 管理页面的左侧导航树中进入[云容器引擎/集群]页面进行创建KaaS集群,最小资源KaaS集群即可满足Kafka容器集群的资源需求。
表5-3 服务器硬件配置要求
配置项 |
最低配置要求 |
型号 |
主流服务器厂商x86服务器 |
数量 |
≥3台,单台配置如下 |
CPU |
Intel Xeon V3系列或更新型号,总核数≥2路10核 主频:≥2.0 GHz |
内存 |
≥64GB |
系统盘 |
HDD(至少2块),推荐:每块盘容量≥600GB,转速≥10000r/min |
数据盘 |
支持HDD(至少1块,可参考业务数据量规划磁盘数量和容量),推荐:转速≥10000r/min 支持SSD |
RAID卡 |
缓存: ≥1GB,支持掉电保护 |
网卡 |
≥ 2个1000 Base-T 接口 ≥ 2个10 Gbps SFP+ 接口(可选) |
· 新建Kafka集群时,同一个Kafka集群中仅支持使用一种类型的云资源。
· 一个Kafka集群至少部署在3个节点上,节点可以是裸金属、虚拟机和容器,根据实际使用需求任选其一即可。新建集群前,要求在云平台中已完成云资源的准备。
· 部署Kafka容器集群时,需要提前创建KaaS集群。在云平台[云服务/云容器引擎/集群]新建KaaS集群时要求Kubernetes版本1.15.0+。
· 创建KaaS集群之后,需在KaaS集群中创建StorageClass。新建容器集群时,依赖该StorageClass。
· Kafka虚拟机和裸金属集群的主机资源直接使用CloudOS IaaS纳管的云资源。
· Kafka容器集群使用云容器引擎创建的KaaS集群资源。
若云平台上已配置云资源,则Kafka集群可直接使用,关于Kafka对云资源的要求详情请参见5.5.1 2. 主机硬件要求。若云平台上未配置云资源,则在部署Kafka集群前,必须首先按要求准备云资源(根据实际需求,三选一即可),虚拟机、裸金属和KaaS集群资源的配置请参见CloudOS云操作系统在线帮助。
· 普通用户新建集群时,需要走流程审批,待组织管理员审批通过后才能触发新建集群的操作。管理员用户新建集群时,会直接触发新建集群的操作。
· 若具有自定义角色的用户申请集群,需要为该用户的角色配置权限。如该用户为普通用户,创建自定义角色时需要为该角色配置申请创建集群权限;如该用户为管理员用户,创建自定义角色时需要为该角色配置创建集群权限。
· 集群名称具有唯一性,在CloudOS DBaaS的各数据库与中间件云服务之间,不支持创建同名集群。
· 新建集群需要提前对节点数量、是否开启安全管理等进行规划。
· 新建虚拟机或裸金属集群时默认开启安全管理。若在新建集群时没有开启安全管理,则后续在使用过程中将再也无法开启。所以在生产环境中,强烈建议新建集群时开启安全管理。
· 新建集群前,要求在云平台中已完成云资源的准备。云资源包括裸金属、虚拟机和KaaS集群三种,根据实际使用需求任选其一即可。
· 云主机初始化模式仅支持专业模式,驱动格式建议选择VFAT。用户可在[资源/虚拟机/计算节点]页面配置相应参数。
· 在Kafka虚拟机集群中,虚拟机的节点规格要求最小为2*8*40(即2核CPU*8GB内存*40GB硬盘)。虚拟机的节点规格可以在云平台的[云服务/云主机]管理页面的左侧导航树中进入[服务配置/云主机规格/组合规格]页面进行自定义新增,超过最小规格要求的节点规格才可被识别到。
· 在Kafka裸金属集群中,裸金属的节点规格根据硬件配置自动获取,规格数据来自云平台的[资源/裸金属资源池]中处于“可分配”状态的节点。
· 在Kafka容器集群中,KaaS集群工作节点规格要求最小为8*32*100(即8核CPU*32GB内存*100GB硬盘)。
· Kerberos环境下不支持IP访问Kafka集群,需要配置kafka集群的hosts信息才可以访问;非Kerberos环境下支撑IP访问Kafka集群。
· 在Kafka容器集群中,容器集群实例的规格要求最小为1*4*128(即1核CPU*4GB内存*128GB硬盘),实例的规格阈值在集群创建页面已配置,按照页面要求配置即可。
· 新建集群时支持安装的组件类别和版本号,详情请以实际页面为准。
根据集群部署规划,在云资源准备完成以后,可新建Kafka集群。
访问管理页面,新建Kafka集群的步骤如下:
(1) 在顶部导航栏选择[云服务/消息中间件Kafka]菜单项进入对应管理页面。
(2) 在左侧导航树中选择[集群管理],进入集群管理页面,单击<新建集群>按钮,跳转至新建Kafka集群页面。
(3) 新建Kafka集群的向导包括以下3个配置步骤,根据页面提示配置对应参数项的值。
(4) 第一步:基础配置,参数说明如下:
¡ 集群名称:自定义输入符合命名规则的集群名称。
¡ 资源模式:创建不同资源类型的集群,选择容器集群与选择虚拟机或裸金属集群的硬件配置不一样。按照实际需求,选择合适的资源模式。
¡ 集群描述:自定义添加集群的描述信息,以便于快速了解集群相关信息。
¡ 安装组件:虚拟机和裸金属集群缺省配置ZooKeeper、Kafka,容器集群缺省配置Kafka。
¡ 安全管理:虚拟机和裸金属集群可选择是否开启安全管理。若选择开启,则同时提供Kerberos认证、审计管理、权限管理功能,提供用户安全认证和数据安全访问等功能,保证数据安全性。
- Kerberos认证:开启安全管理时默认开启Kerberos认证(不支持关闭),提供用户安全认证方式功能。
- 审计管理:选择集群是否开启审计管理。审计管理可以记录用户访问组件的信息,并提供界面化的查询功能。
- 权限管理:开启安全管理时默认开启权限管理(不支持关闭),提供数据的权限访问控制。
- 集群超级用户:开启安全管理时默认配置集群超级用户为kafka。该用户拥有创建topic、向任何topic生产数据、从任何topic消费数据等操作权限。
【说明】开启安全管理时,kafka用户会在[系统管理/用户管理]页面的用户列表中展示,可执行下载用户认证文件等操作。未开启安全管理时,集群所有用户均拥有创建topic、向任何topic生产数据、从任何topic消费数据的权限。
- 密码:配置集群超级用户kafka的密码,支持自定义输入符合规则的密码。
- 确认密码:重复输入集群超级用户kafka的密码,进行确认。
¡ 开启监控:选择是否打开集群监控,默认状态为关闭,开启监控则需要设置监控周期。若开启监控,可监控Kafka集群的状态和主机使用状态等。
¡ 监控周期:开启监控后能设置监控周期,默认周期为120秒,可设置的周期区间为1-300秒,以此修改监控数据的抓取频率。
图5-4 虚拟机或裸金属集群基础配置
图5-5 容器集群基础配置
(5) 第二步:硬件配置,当资源模式选择容器集群和选择虚拟机或裸金属集群时,硬件配置参数不同,
· 当资源模式选择虚拟机或裸金属时,硬件配置参数说明如下:
¡ 资源区域:配置集群使用的资源区域,资源区域对应集群节点的虚拟化类型。资源区域需提前在云平台的[资源/可用域/计算可用域]中进行准备。
¡ 虚拟化类型:当前版本中,支持CAS、VMware和BareMetal类型。其中:CAS、VMware类型对应的云资源为虚拟机,BareMetal类型对应的云资源为裸金属,请根据实际情况进行选择。
¡ 密钥对:配置密钥对后可实现通过密钥文件直接进行集群主机的免密登录。密钥对需提前在云平台的[云服务/云主机/密钥对]中进行准备。
¡ Kafka实例节点数:为保证Kafka数据高可用,实例个数至少配置3个,最多99个。
¡ Kafka实例节点反亲和:当虚拟化类型为CAS时可开启Kafka节点反亲和,开启反亲和后创建的虚拟机节点会调度到不同的物理机上。
¡ 集群节点:新建Kafka集群时,集群节点数量至少为3个。集群节点包含多种类型,详情请参见表5-4。
【注意】同一节点类型的节点规格必须完全一样,格式为“CPU*内存*硬盘”(CPU单位为“核”,内存单位为“GB”,硬盘单位为“GB”),请根据实际情况进行选择。
节点类型 |
是否必选 |
选型说明 |
描述 |
Kafka实例 |
必选 |
Kafka运行实例 |
为保证Kafka数据高可用,实例个数至少配置3个,最多99;可指定节点IP。 |
专有ZooKeeper实例 |
可选 |
用来协调整个集群的实例,集群达到一定规模时,可单独部署ZooKeeper的实例 |
若配置专有ZooKeeper实例,则实例个数至少配置3个,且只能配置奇数个 【说明】 · 若未配置专有ZooKeeper实例,则ZooKeeper与Kafka部署在相同节点上 · 若配置专有ZooKeeper实例,则ZooKeeper与Kafka分开部署在不同节点上 |
¡ 网络:配置集群的管理网络,需保证通过该网络创建的主机和云平台之间网络互通。管理网络需提前在云平台的[云服务/经典网络]中进行准备。
图5-6 虚拟机或裸金属集群硬件配置
· 当资源模式选择容器集群,硬件配置参数说明如下:
¡ KaaS集群:K8s集群,可通过[云服务\云容器引擎\集群\新建集群]进行创建,创建的Kafka集群运行在该K8s集群上。
注:在云平台的[云服务/云容器引擎/集群]新建集群时要求Kubernetes版本1.15.0+。
¡ NameSpace:容器集群在KaaS集群中使用的命名空间。支持自定义命名空间,系统会自动创建自定义命名的空间。
¡ 存储:选择Kafka集群所用的存储类型。
¡ StorageClass:Kubernetes中用来自动创建PV的一种资源,该资源用来为集群提供存储空间。
注:创建KaaS集群之后,需在KaaS集群中创建该资源,新建容器集群时StorageClass下拉框显示创建的该资源。
¡ PV:输入KaaS集群中已有PV的label键值,绑定PV。
¡ ZooKeeper地址:输入外部ZooKeeper地址或下拉选择KaaS集群中已有的ZooKeeper地址,供Kafka存储元数据使用。
¡ Service名称:自定义创建Kafka集群的Service名称,即创建Kubernetes中的Service资源,提供一种对外访问地址。
¡ HeadLess Service名称:自定义创建Kafka集群的HeadLess Service,即创建Kubernetes中的HeadLess Service资源,提供一种对外访问地址。
¡ 实例个数:可选3~9个实例数,即Kafka集群有多少个Broker节点。
¡ 实例规格:设置容器集群中每个实例的资源,最小规格要求1核CPU*4GB内存*128GB存储。
图5-7 容器集群硬件配置
(6) 第三步:确认信息,查看集群的基础配置、硬件配置的详细信息,若检查配置无误可单击<确认信息并创建>按钮启动创建集群,若检查配置有误可返回上一步进行修改。
(7) 创建集群启动后,会跳转至集群列表页面,等待一段时间集群即可创建完成。
表5-5 开启安全管理后提供的功能说明
功能 |
说明 |
Kerberos认证 |
Kerberos认证可以提供用户安全认证功能。 【说明】关于Kerberos认证开启后,对使用的影响详情请参见5.6.2 开启Kerberos |
审计管理 |
审计管理可以记录用户访问Kafka某个主题的结果信息,并提供界面化的查询功能。 |
权限管理 |
权限管理可以提供Kafka某个主题的权限控制。 |
· 新建Kafka集群时,若没有开启Kerberos认证,则后续在使用过程中将再也无法开启。所以在生产环境中,强烈建议新建集群时同时开启Kerberos认证。
· Kerberos环境下不支持IP访问Kafka集群,需要配置kafka集群的hosts信息才可以访问;非Kerberos环境下支撑IP访问Kafka集群。
· 安全管理(Kerberos认证)开启之后,无法关闭/卸载。
集群开启Kerberos认证后,可能受影响的操作如下:
· 集群用户(包括超级用户、普通用户)均需要通过认证才可访问集群。
· 组件使用(管理/业务)方面的影响,详情请参见Kafka相关用户手册。
审计管理操作审计页面展示某用户在某时刻以某种操作访问Kafka上某个资源,以及该访问是否通过的审计信息,如图5-8所示。
· 新建Kafka集群时,若没有开启权限管理,则集群不可使用角色管理功能。
· 新建Kafka集群时,若没有开启权限管理,则后续在使用过程中将再也无法开启。
· 关于权限管理模块功能的配置或使用详情请参见产品在线联机帮助系统。
权限管理是安全管理的重要组成部分,在开启权限管理的集群中,权限基于角色进行统一管理,角色是权限的集合。一个角色可以同时拥有多个组件的资源权限。以角色作为权限集合的优势在于:
· 当多个用户对同一组件的同一资源有相同的权限时,只需要为这些用户绑定拥有该资源权限的角色,而不用分别为这些用户重复添加相同的权限。
· 对某一角色的权限进行修改后,所有绑定该角色的用户将会被统一修改权限,这样可以更加灵活方便的对用户进行权限管理。
RabbitMQ是实现了高级消息队列协议(AMQP)的消息中间件,使用Erlang语言开发。RabbitMQ作为目前应用相当广泛的消息中间件,在企业级应用、微服务应用中充当着重要的角色。
图6-1 RabbitMQ部署流程总图
表6-1 部署RabbitMQ流程说明
步骤 |
是否必选 |
描述 |
||||
开始 |
/ |
/ |
||||
部署CloudOS |
安装CloudOS服务器 |
必选 |
CloudOS平台是部署RabbitMQ云服务的基础底座,CloudOS IaaS提供部署RabbitMQ云服务时使用的云资源,因此在部署RabbitMQ之前,必须完成CloudOS平台和CloudOS IaaS的部署。 · 部署RabbitMQ时,对CloudOS平台和CloudOS IaaS的部署没有任何特殊要求,所以CloudOS平台和CloudOS IaaS的部署指导和详情直接参照CloudOS产品相关文档即可。 · 关于部署CloudOS平台和CloudOS IaaS时,与RabbitMQ相关的重点关注,详情请参见3 部署CloudOS。 |
|||
部署CloudOS平台 |
||||||
部署CloudOS IaaS |
||||||
部署Base |
必选 |
Base提供部署RabbitMQ云服务时的相关依赖等,因此在部署RabbitMQ之前,必须完成Base的部署,详情请参见4 部署Base。 |
||||
部署RabbitMQ安装包 |
上传安装包 |
必选 |
访问CloudOS管理页面,完成RabbitMQ安装包的上传和部署,详情请参见6.4 部署RabbitMQ安装包。 RabbitMQ安装包部署成功后,在管理页面云服务的下拉菜单中可查看到RabbitMQ云服务。 |
|||
部署安装包 |
必选 |
|||||
配置License |
必选 |
|||||
部署RabbitMQ集群 |
部署集群前要求 |
网络要求 |
必选 |
部署RabbitMQ集群之前,必须提前关注部署前要求,包括:网络要求、主机硬件要求等,详情请参见6.5.1 部署RabbitMQ集群前要求。 |
||
主机硬件要求 |
||||||
部署集群前准备 |
准备云资源(虚拟机或裸金属,二选一) |
必选 |
RabbitMQ云服务主机资源直接使用CloudOS IaaS纳管的资源,包括裸金属和虚拟机两种,根据实际情况二选一即可。主机资源准备完成以后,才可启动RabbitMQ集群部署,详情请参见6.5.2 部署RabbitMQ集群准备。 |
|||
新建集群 |
必选 |
访问CloudOS管理页面,完成RabbitMQ集群的创建,详情请参见6.5.3 新建RabbitMQ集群。 |
||||
结束 |
/ |
/ |
||||
部署RabbitMQ时,需要准备的软件安装包如表6-2所示。
软件 |
安装包名称 |
用途说明 |
获取方式 |
RabbitMQ安装包 |
cloudos-dbaas-rabbitmq-<version>.zip |
用于安装RabbitMQ |
由H3C提供 |
RabbitMQ安装包采用云形态进行部署,具有以下要求:
· 部署RabbitMQ安装包时,要求系统中必须已部署CloudOS Plat、CloudOS IaaS、Base。即部署顺序为:1)部署CloudOS Plat、2)部署CloudOS IaaS、3)部署Base、4)部署RabbitMQ。
· 部署RabbitMQ集群时,主机资源直接使用CloudOS IaaS纳管的云资源,包括虚拟机和裸金属两种,根据实际情况进行选择即可。
部署RabbitMQ集群前,必须考虑以下要求:
· 在RabbitMQ云服务中,涉及告警监控的操作,需获取高级运维功能License授权后才可以正常使用相应功能。
· RabbitMQ集群包括单节点和集群两种模式。若采用单节点部署方式,则RabbitMQ集群部署在单节点上。若采用集群部署,每个RabbitMQ集群至少部署在3个节点上。系统内置了组件部署策略。根据现场实际情况和业务需求,进行RabbitMQ集群规划时需关注集群节点数目。
· RabbitMQ集群主机资源直接使用CloudOS IaaS纳管的云资源,包括虚拟机和裸金属两种,根据实际情况进行选择即可,需要注意:
¡ RabbitMQ集群中的虚拟机或裸金属节点,网络要求和CloudOS集群中主机的网络互通。
¡ 集群部署在虚拟机上时,需要关注主机节点的硬件配置要求。
【说明】虚拟机的节点规格可以在云平台的[云服务/云主机]管理页面的左侧导航树中进入[服务配置/云主机规格/组合规格]页面进行自定义新增,超过最小规格要求的节点规格才可被识别到。
¡ 集群部署在裸金属上时,需要关注主机节点的硬件配置要求以及磁盘RAID方案。
【说明】裸金属的节点规格根据硬件配置自动获取,规格数据来自云平台的[资源/裸金属资源池]中处于“可分配”状态的节点。
访问管理页面,上传RabbitMQ云服务安装包,步骤如下:
(1) 在顶部导航栏选择[系统]菜单项进入系统管理页面。
(2) 在左侧导航树中选择[服务与组件/部署向导],进入部署向导页面。
(3) 在部署向导页面,根据页面上提示上传cloudos-dbaas-rabbitmq安装包到对应目录下。上传步骤如下:
通过sftp方式将cloudos-dbaas-rabbitmq服务安装包上传至sftp://<IP>:/opt/sys-app/package-files文件夹下。
(4) 上传完成后,刷新列表并选择cloudos-dbaas-rabbitmq服务安装配置。
图6-2 上传安装包
访问管理页面,部署RabbitMQ云服务安装包,步骤如下:
(1) 在顶部导航栏选择[系统]菜单项进入系统管理页面。
(2) 在左侧导航树中选择[服务与组件/部署向导],进入部署向导页面。
(3) 勾选列表中的cloudos-dbaas-rabbitmq安装包,此时按需求选择安装包版本,部署区域默认由系统自动分配。
(4) 安装包选择完成后,RabbitMQ安装包无高级配置参数,此时可直接单击<立即部署>按钮,等待部署成功。
(5) 安装包部署成功后,此安装包内的RabbitMQ默认为启用状态,此时可在顶部导航栏云服务的下拉列表中进行查看。
图6-3 部署安装包
· 建议RabbitMQ集群的主机节点与CloudOS平台(CloudOS IaaS)在同一网段,即:RabbitMQ集群中的虚拟机或裸金属节点,网络要求和CloudOS集群中主机的网络互通。
· 配置集群的管理网络(非独立管理网络),需保证通过该网络创建的主机和云平台之间网络互通。管理网络需提前在云平台的[云服务/经典网络]中进行准备。
· 网络带宽要求在10Gb/s以上。
· RabbitMQ集群中各节点之间不能跨越防火墙。
· 部署RabbitMQ集群前,需要提前将裸金属加入到CloudOS IaaS的纳管中,创建集群成功后,裸金属或虚拟机的root用户默认密码是Passw0rd@_。
· 新建RabbitMQ集群时,同一个RabbitMQ集群中仅支持使用一种类型的云资源。
· 单节点RabbitMQ集群部署在1个节点上,集群版RabbitMQ集群至少部署在3个节点上。节点可以是裸金属或虚拟机。根据RabbitMQ集群使用的云资源不同,部署前准备也不同。
(1) 集群部署在虚拟机上时服务器硬件配置要求
在RabbitMQ集群中,虚拟机的节点规格在未选择独立数据云盘时建议使用4*12*40(即4核CPU*12GB内存*40GB硬盘)以上,最小节点规格为2*4*40(即2核CPU*4GB内存*40GB硬盘);选择独立数据云盘时,建议使用4*12*20(即4核CPU*12GB内存*20GB硬盘)以上,最小节点规格为2*4*20(即2核CPU*4GB内存*20GB硬盘)。虚拟机的节点规格可以在云平台的[云服务/云主机]管理页面的左侧导航树中进入[服务配置/云主机规格/组合规格]页面进行自定义新增,超过最小规格要求的节点规格才可被识别到。
¡ 在RabbitMQ集群中,裸金属的节点规格根据硬件配置自动获取,规格数据来自云平台的[资源/裸金属资源池]中处于“可分配”状态的节点。
¡ 系统盘与启动盘需要一致,系统盘是裸金属资源池中节点设置指定的系统盘,启动盘是服务器的启动盘。
¡ 使用裸金属资源时,RabbitMQ集群各节点的磁盘RAID整体原则如下:
- 操作系统盘做RAID1。
- RabbitMQ集群数据盘建议做RAID5。
表6-3 服务器硬件配置要求
配置项 |
最低配置要求 |
型号 |
主流服务器厂商x86服务器 |
数量 |
≥3台,单台配置如下 |
CPU |
Intel Xeon V3系列或更新型号,总核数≥2路10核 主频:≥2.0 GHz |
内存 |
≥64GB |
系统盘 |
HDD(至少2块),推荐:每块盘容量≥600GB,转速≥10000r/min |
数据盘 |
支持HDD(至少1块,可参考业务数据量规划磁盘数量和容量),推荐:转速≥10000r/min 支持SSD |
RAID卡 |
缓存: ≥1GB,支持掉电保护 |
网卡 |
≥ 2个1000 Base-T 接口 ≥ 2个10 Gbps SFP+ 接口(可选) |
RabbitMQ集群的主机资源直接使用CloudOS IaaS纳管的云资源,包括两种类型:
· 裸金属资源
· 虚拟机资源
若云平台上已配置云资源,则RabbitMQ集群可直接使用,关于RabbitMQ对云资源的要求详情请参见6.5.1 2. 主机硬件要求。若云平台上未配置云资源,则在部署RabbitMQ集群前,必须首先按要求准备云资源(根据实际需求,二选一即可),虚拟机或裸金属资源的配置请参见CloudOS云操作系统在线帮助。
· 普通用户新建集群时,需要走流程审批,待组织管理员审批通过后才能触发新建集群的操作。管理员用户新建集群时,会直接触发新建集群的操作。
· 若具有自定义角色的用户申请集群,需要为该用户的角色配置权限。如该用户为普通用户,创建自定义角色时需要为该角色配置申请创建集群权限;如该用户为管理员用户,创建自定义角色时需要为该角色配置创建集群权限。
· 集群名称具有唯一性,在CloudOS DBaaS的各数据库与中间件云服务之间,不支持创建同名集群。
· 新建集群需要提前对节点数量、集群模式等进行规划。
· 新建集群前,要求在云平台中已完成云资源的准备。云资源包括裸金属和虚拟机两种,根据实际使用需求任选其一即可。
· 云主机初始化模式仅支持专业模式,驱动格式建议选择VFAT。用户可在[资源/虚拟机/计算节点]页面配置相应参数。
· 在RabbitMQ集群中,虚拟机的节点规格在未选择独立数据云盘时建议使用4*12*80(即4核CPU*12GB内存*80GB硬盘)以上,最小节点规格为2*4*40(即2核CPU*4GB内存*40GB硬盘);选择独立数据云盘时,建议使用4*12*20(即4核CPU*12GB内存*20GB硬盘)以上,最小节点规格为2*4*20(即2核CPU*4GB内存*20GB硬盘)。虚拟机的节点规格可以在云平台的[云服务/云主机]管理页面的左侧导航树中进入[服务配置/云主机规格/组合规格]页面进行自定义新增,超过最小规格要求的节点规格才可被识别到。
· 在RabbitMQ集群中,裸金属的节点规格根据硬件配置自动获取,规格数据来自云平台的[资源/裸金属资源池]中处于“可分配”状态的节点。
· 新建集群时支持安装的组件类别和版本号,详情请以实际页面为准。
根据集群部署规划,在云资源准备完成以后,可新建RabbitMQ集群。
访问管理页面,新建RabbitMQ集群的步骤如下:
(1) 在顶部导航栏选择[云服务/消息中间件RabbitMQ]菜单项进入对应管理页面。
(2) 在左侧导航树中选择[集群管理],进入集群管理页面,单击<新建集群>按钮,跳转至新建RabbitMQ集群页面。
(3) 新建RabbitMQ集群的向导包括以下3个配置步骤,根据页面提示配置对应参数项的值。
(4) 第一步:基础配置,参数说明如下:
¡ 集群名称:自定义输入符合命名规则的集群名称。
¡ 资源模式:选择集群的资源形态,包含虚拟机集群和裸金属集群。
¡ 集群描述:自定义添加集群的描述信息,以便于快速了解集群的相关信息。
¡ 安装组件:已缺省配置选择RabbitMQ。
¡ 开启监控:选择是否打开集群监控,默认状态为关闭,开启监控则需要设置监控周期。若开启监控,可监控数据库服务的状态和主机使用状态等。
¡ 监控周期:开启监控后能设置监控周期,默认周期为120秒,可设置的周期区间为1-300秒,以此修改监控数据的抓取频率。
(5) 第二步:硬件配置,虚拟机、裸金属硬件配置参数不同,说明如下:
虚拟机集群配置说明如下:
¡ 密钥对:配置密钥对后可实现通过密钥文件直接进行集群主机的免密登录。密钥对需提前在云平台的[云服务/云主机/密钥对]中进行准备。
¡ 网络:当未勾选高级配置中的独立数据库管理网络时,该项配置的是集群管理网络,需保证通过该网络创建的虚拟机和云平台之间网络互通。若勾选高级配置中的独立数据库管理网络时,该项配置的是集群业务网络。网络需提前在云平台的[云服务/经典网络]中进行准备。
¡ 集群模式:支持单节点、集群,请根据实际情况进行选择。
- 单节点:只有一个实例。
- 集群:多个实例,实例数在下拉菜单中可选择。当选择集群模式时还需要配置镜像队列模式。
¡ 节点数配置:该配置项用于指定集群的节点总个数。单节点模式时节点数固定为1,集群模式时可选项为3/5/7/9。
¡ 节点反亲和:当虚拟化类型为CAS且集群模式为集群时可开启节点反亲和,开启反亲和后创建的虚拟机节点会调度到不同的物理机上。
【注】:节点反亲和要求对应资源区域必须配置共享存储,且对于同一资源区域中的节点,节点数量不能大于该区域中已配置共享存储且实际可用容量大于节点存储总和、预留计算资源大于20%的物理主机数量(若物理主机同时作为CVM,则预留计算资源应大于40%) ,否则部分节点将创建异常,导致集群创建失败。
¡ 集群节点:集群节点为RabbitMQ实例。
- 节点类型:支持RabbitMQ实例。
- 单资源区域/多资源区域:配置集群节点的资源区域,可选择单资源区域或多资源区域,单资源区域表示集群的所有节点部署在同一个资源区域下,多资源区域表示集群中的所有节点可以部署在不同的资源区域下。资源区域需提前在云平台的[资源/可用域/计算可用域]中进行准备。
- 虚拟化类型:当前版本中,支持CAS、VMware类型,CAS和VMware类型对应的云资源为虚拟机,目前不支持集群中的多个节点属于不同的虚拟化类型。
- 节点规格:未选择独立数据云盘时支持最小实例规格2*4*40。选择独立数据云盘时支持最小实例规格2*4*20。同一节点类型的节点规格必须完全一样,格式为“CPU*内存*硬盘”(CPU单位为“核”,内存单位为“GB”,硬盘单位为“GB”),请根据实际情况进行选择。
- 节点IP:节点的IP,未填写时将由系统自动分配节点IP。
¡ 镜像队列模式:集群模式为集群时,要求选择镜像列表模式。镜像列表模式包括“镜像全部”和“未设置”,镜像全部模式表示集群中的所有队列中的消息数据会在集群内的所有节点上备份,未设置表示队列的消息数据只在单节点上存在。
¡ 独立数据库管理网络:勾选此选项时表示启用集群节点双网络功能。
¡ 独立管理网络:该项配置的是集群的管理网络,开启管理业务网分离功能后,需保证通过该网络创建的虚拟机和云平台之间网络互通。独立管理网络需提前在云平台的[云服务/经典网络]中进行准备。
¡ 独立数据云盘:勾选此选项时表示启用独立数据盘功能。
¡ 硬盘类型:目前只识别厚置备类型的硬盘。硬盘类型需提前在云平台的[云服务/云硬盘/服务配置/云硬盘类型]中进行创建置备类型为厚置备的云硬盘类型。
¡ 数据云盘容量:用于指定数据云盘的容量大小。
¡ 配额:表示用户所在组织可用的存储总容量配额。包含可用容量和总配额容量两部分。
¡ 存储资源区域
- 资源区域:集群节点所在的资源区域。
- 虚拟化类型:集群节点所在的资源区域对应的虚拟化类型。
- 存储可用域:存储可用域提前在云平台的[资源/存储可用域]中进行准备。
- 存储池可用容量:集群节点所在资源区域对应的存储池可用容量大小。
- 申请容量:集群在某个资源区域下申请的存储容量总大小。
¡ 管理用户:默认配置集群管理用户为admin。该管理用户可用来访问集群快速链接RabbitMQManagement。
¡ 密码:配置集群管理用户admin的密码,支持自定义输入符合规则的密码。
¡ 确认密码:重复输入集群管理用户admin的密码,进行确认。
裸金属集群配置说明如下:
¡ 资源区域:配置集群使用的资源区域,资源区域对应集群节点的虚拟化类型。资源区域需提前在云平台的[资源/可用域/计算可用域]中进行准备。
¡ 虚拟化类型:当前版本中,仅支持BareMetal类型。BareMetal类型对应的云资源为裸金属。
¡ 密钥对:配置密钥对后可实现通过密钥文件直接进行集群主机的免密登录。密钥对需提前在云平台的[云服务/云主机/密钥对]中进行准备。
¡ 网络:配置集群的管理网络,才可以为RabbitMQ分配IP资源。经典网络需要在云平台的[云服务/经典网络]中进行准备。
¡ 集群模式:支持单节点、集群,请根据实际情况进行选择。
- 单节点:只有一个实例。
- 集群:多个实例,实例数在下拉菜单中可选择。当选择集群模式时还需要配置镜像队列模式。
¡ 集群节点:集群节点为RabbitMQ实例。
- 节点类型:支持RabbitMQ实例。
- 节点规格:支持最小实例规格2*4*40。同一节点类型的节点规格必须完全一样,格式为“CPU*内存*硬盘”(CPU单位为“核”,内存单位为“GB”,硬盘单位为“GB”),请根据实际情况进行选择。
- 节点数:单节点模式的实例数固定为1个,集群模式的实例数可在下拉菜单中选择(范围为3/5/7/9)。
¡ 镜像队列模式:集群模式为集群时,要求选择镜像列表模式。镜像列表模式包括“镜像全部”和“未设置”,镜像全部模式表示集群中的所有队列中的消息数据会在集群内的所有节点上备份,未设置表示队列的消息数据只在单节点上存在。
¡ 管理用户:默认配置集群管理用户为admin。该管理用户可用来访问集群快速链接RabbitMQ Management(RabbitMQ Management管理页面提供了基于HTTP的API、基于浏览器的UI和命令行工具rabbitmqctl,用于管理和监控RabbitMQ服务器,主要包括以下功能:RabbitMQ集群详情概览,或管理RabbitMQ集群的节点、消息、队列、信道、交换机、用户、虚拟主机、策略等)。
¡ 密码:配置集群管理用户admin的密码,支持自定义输入符合规则的密码。
¡ 确认密码:重复输入集群管理用户admin的密码,进行确认。
(6) 第三步:确认信息,查看集群基础配置、参数配置的详细信息,若检查配置无误可单击<确认信息并创建>按钮启动创建集群,若检查配置有误可返回上一步进行修改。
(7) 创建集群启动后,会跳转至集群列表页面,等待一段时间集群即可创建完成。
ActiveMQ遵循JMS1.1规范(Java Message Service),是消息队列服务和面向消息中间件(MOM)的最终实现,它为企业消息传递提供了高可用、可扩展性、稳定性和安全保障。
图7-1 ActiveMQ部署流程总图
表7-1 部署ActiveMQ流程说明
步骤 |
是否必选 |
描述 |
||||
开始 |
/ |
/ |
||||
部署CloudOS |
安装CloudOS服务器 |
必选 |
CloudOS平台是部署ActiveMQ云服务的基础底座,CloudOS IaaS提供部署ActiveMQ云服务时使用的云资源,因此在部署ActiveMQ之前,必须完成CloudOS平台和CloudOS IaaS的部署。 · 部署ActiveMQ时,对CloudOS平台和CloudOS IaaS的部署没有任何特殊要求,所以CloudOS平台和CloudOS IaaS的部署指导和详情直接参照CloudOS产品相关文档即可。 · 关于部署CloudOS平台和CloudOS IaaS时,与ActiveMQ相关的重点关注,详情请参见3 部署CloudOS。 |
|||
部署CloudOS平台 |
||||||
部署CloudOS IaaS |
||||||
部署Base |
必选 |
Base提供部署ActiveMQ云服务时的相关依赖等,因此在部署ActiveMQ之前,必须完成Base的部署,详情请参见4 部署Base。 |
||||
部署ActiveMQ安装包 |
上传安装包 |
必选 |
访问CloudOS管理页面,完成ActiveMQ安装包的上传和部署,详情请参见7.4 部署ActiveMQ安装包。 ActiveMQ安装包部署成功后,在管理页面云服务的下拉菜单中可查看到ActiveMQ云服务。 |
|||
部署安装包 |
必选 |
|||||
配置License |
必选 |
|||||
部署ActiveMQ集群 |
部署集群前要求 |
网络要求 |
必选 |
部署ActiveMQ集群之前,必须提前关注部署前要求,包括:网络要求、主机硬件要求等,详情请参见7.5.1 部署ActiveMQ集群前要求。 |
||
主机硬件要求 |
||||||
部署集群前准备 |
准备云资源:虚拟机 |
必选 |
ActiveMQ云服务主机资源直接使用CloudOS IaaS纳管的虚拟机资源。主机资源准备完成以后,才可启动ActiveMQ集群部署,详情请参见7.5.2 部署ActiveMQ集群准备。 |
|||
新建集群 |
必选 |
访问CloudOS管理页面,完成ActiveMQ集群的创建,详情请参见7.5.3 新建ActiveMQ集群。 |
||||
结束 |
/ |
/ |
||||
部署ActiveMQ时,需要准备的软件安装包如表7-2所示。
软件 |
安装包名称 |
用途说明 |
获取方式 |
ActiveMQ安装包 |
cloudos-dbaas-activemq-<version>.zip |
用于安装ActiveMQ |
由H3C提供 |
ActiveMQ安装包采用云形态进行部署,具有以下要求:
· 部署ActiveMQ安装包时,要求系统中必须已部署CloudOS Plat、CloudOS IaaS、Base。即部署顺序为:1)部署CloudOS Plat、2)部署CloudOS IaaS、3)部署Base、4)部署ActiveMQ。
· 部署ActiveMQ集群时,主机资源直接使用CloudOS IaaS纳管的虚拟机云资源。
部署ActiveMQ集群前,必须考虑以下要求:
· 在ActiveMQ云服务中,涉及告警监控的操作,需获取高级运维功能License授权后才可以正常使用相应功能。
· ActiveMQ集群包括单节点以及主从两种模式。若采用单节点部署,则ActiveMQ集群部署在单节点上。若采用主从模式部署,每个ActiveMQ集群仅支持部署在3个节点上。系统内置了组件部署策略。根据现场实际情况和业务需求,进行ActiveMQ集群规划时需关注部署模式。
· ActiveMQ集群主机资源直接使用CloudOS IaaS纳管的虚拟机云资源,需要注意:
¡ ActiveMQ集群中的虚拟机节点,网络要求和CloudOS集群中主机的网络互通。
¡ 集群部署在虚拟机上时,需要关注主机节点的硬件配置要求。
【说明】虚拟机的节点规格可以在云平台的[云服务/云主机]管理页面的左侧导航树中进入[服务配置/云主机规格/组合规格]页面进行自定义新增,超过最小规格要求的节点规格才可被识别到。
访问管理页面,上传ActiveMQ云服务安装包,步骤如下:
(1) 在顶部导航栏选择[系统]菜单项进入系统管理页面。
(2) 在左侧导航树中选择[服务与组件/部署向导],进入部署向导页面。
(3) 在部署向导页面,根据页面上提示上传cloudos-dbaas-activemq安装包到对应目录下。上传步骤如下:
通过sftp方式将cloudos-dbaas-activemq服务安装包上传至sftp://<IP>:/opt/sys-app/package-files文件夹下。
(4) 上传完成后,刷新列表并选择cloudos-dbaas-activemq服务安装配置。
图7-2 上传安装包
访问管理页面,部署ActiveMQ云服务安装包,步骤如下:
(1) 在顶部导航栏选择[系统]菜单项进入系统管理页面。
(2) 在左侧导航树中选择[服务与组件/部署向导],进入部署向导页面。
(3) 勾选列表中的cloudos-dbaas-activemq安装包,此时按需求选择安装包版本,部署区域默认由系统自动分配。
(4) 安装包选择完成后,ActiveMQ安装包无高级配置参数,此时可直接单击<立即部署>按钮,等待部署成功。
(5) 安装包部署成功后,此安装包内的ActiveMQ默认为启用状态,此时可在顶部导航栏云服务的下拉列表中进行查看。
图7-3 部署安装包
· 建议ActiveMQ集群的主机节点与CloudOS平台(CloudOS IaaS)在同一网段,即:ActiveMQ集群中的虚拟机节点,网络要求和CloudOS集群中主机的网络互通。
· 配置集群的管理网络,需保证通过该网络创建的主机和云平台之间网络互通。管理网络需提前在云平台的[云服务/经典网络]中进行准备。
· 网络带宽要求在10Gb/s以上。
· ActiveMQ集群中各节点之间不能跨越防火墙。
· 创建集群成功后,虚拟机的root用户默认密码是Passw0rd@_。
· 单节点ActiveMQ集群部署在1个节点上,主从模式ActiveMQ集群仅支持部署在3个节点上。
(1) 集群部署在虚拟机上时服务器配置要求
在ActiveMQ集群中,虚拟机的节点规格要求最小为2*4*40(即2核CPU*4GB内存*40GB硬盘)。虚拟机的节点规格可以在云平台的[云服务/云主机]管理页面的左侧导航树中进入[服务配置/云主机规格/组合规格]页面进行自定义新增,超过最小规格要求的节点规格才可被识别到。
若云平台上已配置云资源,则ActiveMQ集群可直接使用,关于ActiveMQ对云资源的要求详情请参见7.5.1 2. 主机要求。若云平台上未配置云资源,则在部署ActiveMQ集群前,必须首先按要求准备虚拟机云资源,虚拟机资源的配置请参见CloudOS云操作系统在线帮助。
· 普通用户新建集群时,需要走流程审批,待组织管理员审批通过后才能触发新建集群的操作。管理员用户新建集群时,会直接触发新建集群的操作。
· 若具有自定义角色的用户申请集群,需要为该用户的角色配置权限。如该用户为普通用户,创建自定义角色时需要为该角色配置申请创建集群权限;如该用户为管理员用户,创建自定义角色时需要为该角色配置创建集群权限。
· 集群名称具有唯一性,在CloudOS DBaaS的各数据库与中间件云服务之间,不支持创建同名集群。。
· 新建集群需要提前对节点数量、集群模式等进行规划。
· 新建集群前,要求在云平台中已完成虚拟机云资源的准备。
· 云主机初始化模式仅支持专业模式,驱动格式建议选择VFAT。用户可在[资源/虚拟机/计算节点]页面配置相应参数。
· 在ActiveMQ集群中,虚拟机的节点规格要求最小为2*4*40(即2核CPU*4GB内存*40GB硬盘)。虚拟机的节点规格可以在云平台的[云服务/云主机]管理页面的左侧导航树中进入[服务配置/云主机规格/组合规格]页面进行自定义新增,超过最小规格要求的节点规格才可被识别到。
· 新建集群时支持安装的组件类别和版本号,详情请以实际页面为准。
根据集群部署规划,在云资源准备完成以后,可新建ActiveMQ集群。
访问管理页面,新建ActiveMQ集群的步骤如下:
(1) 在顶部导航栏选择[云服务/消息中间件ActiveMQ]菜单项进入对应管理页面。
(2) 在左侧导航树中选择[集群管理],进入集群管理页面,单击<新建集群>按钮,跳转至新建ActiveMQ集群页面。
(3) 新建ActiveMQ集群的向导包括以下3个配置步骤,根据页面提示配置对应参数项的值。
(4) 第一步:基础配置,参数说明如下:
¡ 集群名称:自定义输入符合命名规则的集群名称。
¡ 资源模式:当前仅支持虚拟机集群。
¡ 集群描述:自定义添加集群的描述信息,以便于快速了解集群的相关信息。
¡ 安装组件:已缺省配置选择ActiveMQ。
¡ 开启监控:选择是否打开集群监控,默认状态为关闭,开启监控则需要设置监控周期。若开启监控,可监控数据库服务的状态和主机使用状态等。
¡ 监控周期:开启监控后能设置监控周期,默认周期为120秒,可设置的周期区间为1-300秒,以此修改监控数据的抓取频率。
图7-4 基础配置
(5) 第二步:硬件配置,参数说明如下:
¡ 资源区域:配置集群使用的资源区域,资源区域对应集群节点的虚拟化类型。资源区域需提前在云平台的[资源/可用域/计算可用域]中进行准备。
¡ 虚拟化类型:当前版本中,仅支持CAS、VMware类型。其中:CAS、VMware对应的云资源为虚拟机。
¡ 密钥对:配置密钥对后可实现通过密钥文件直接进行集群主机的免密登录。密钥对需提前在云平台的[云服务/云主机/密钥对]中进行准备。
¡ 网络:配置集群的管理网络,才可以为ActiveMQ分配IP资源。经典网络需要在云平台的[云服务/经典网络]中进行准备。
¡ 集群模式:支持单节点、主从,请根据实际情况进行选择。
- 单节点:只有一个实例。
- 主从:3个实例,不可修改。
¡ 节点反亲和:当虚拟化类型为CAS且集群模式为主从时可开启节点反亲和,开启反亲和后创建的虚拟机节点会调度到不同的物理机上。
【注】:节点反亲和要求对应资源区域必须配置共享存储,且对于同一资源区域中的节点,节点数量不能大于该区域中已配置共享存储且实际可用容量大于节点存储总和、预留计算资源大于20%的物理主机数量(若物理主机同时作为CVM,则预留计算资源应大于40%) ,否则部分节点将创建异常,导致集群创建失败。
¡ 集群节点:集群节点为ActiveMQ实例。
- 节点类型:支持ActiveMQ实例。
- 节点规格:支持最小实例规格2*4*40。同一节点类型的节点规格必须完全一样,格式为“CPU*内存*硬盘”(CPU单位为“核”,内存单位为“GB”,硬盘单位为“GB”),请根据实际情况进行选择。
- 节点数:单节点模式的实例数为1个,主从模式的实例数固定为3个。
¡ 管理用户:默认配置集群管理用户为admin,该管理用户用来连接ActiveMQ集群服务和访问ActiveMQ控制台。
¡ 密码:配置集群管理用户admin的密码,支持自定义输入符合规则的密码。
¡ 确认密码:重复输入集群管理用户admin的密码,进行确认。
图7-5 参数配置
(6) 第三步:确认信息,查看集群基础配置、参数配置的详细信息,若检查配置无误可单击<确认信息并创建>按钮启动创建集群,若检查配置有误可返回上一步进行修改。
(7) 创建集群启动后,会跳转至集群列表页面,等待一段时间集群即可创建完成。
ZooKeeper是一个分布式的应用程序协调服务。它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。
图8-1 ZooKeeper部署流程总图
表8-1 部署ZooKeeper流程说明
步骤 |
是否必选 |
描述 |
|||
开始 |
/ |
/ |
|||
部署CloudOS |
安装CloudOS服务器 |
必选 |
CloudOS平台是部署ZooKeeper云服务的基础底座,CloudOS IaaS提供部署ZooKeeper云服务时使用的云资源,因此在部署ZooKeeper之前,必须完成CloudOS平台和CloudOS IaaS的部署。 · 部署ZooKeeper时,对CloudOS平台和CloudOS IaaS的部署没有任何特殊要求,所以CloudOS平台和CloudOS IaaS的部署指导和详情直接参照CloudOS产品相关文档即可。 · 关于部署CloudOS平台和CloudOS IaaS时,与ZooKeeper相关的重点关注,详情请参见3 部署CloudOS。 |
||
部署CloudOS平台 |
|||||
部署CloudOS IaaS |
|||||
部署Base |
必选 |
Base提供部署ZooKeeper云服务时的相关依赖等,因此在部署ZooKeeper之前,必须完成Base的部署,详情请参见4 部署Base。 |
|||
部署ZooKeeper安装包 |
上传安装包 |
必选 |
访问CloudOS管理页面,完成ZooKeeper安装包的上传和部署,详情请参见8.4 部署ZooKeeper安装包。 ZooKeeper安装包部署成功后,在管理页面云服务的下拉菜单中可查看到ZooKeeper云服务。 |
||
部署安装包 |
必选 |
||||
配置License |
必选 |
||||
部署ZooKeeper集群 |
部署集群前要求 |
网络要求 |
必选 |
部署ZooKeeper集群之前,必须提前关注部署前要求,包括:网络要求、KaaS集群要求等,详情请参见8.5.1 部署ZooKeeper集群前要求。 |
|
KaaS集群要求 |
|||||
新建集群 |
必选 |
访问CloudOS管理页面,完成ZooKeeper集群的创建,详情请参见8.5.2 新建ZooKeeper集群。 |
|||
结束 |
/ |
/ |
|||
部署ZooKeeper时,需要准备的软件安装包如表6-2所示。
表8-2 软件列表
软件 |
安装包名称 |
用途说明 |
获取方式 |
ZooKeeper安装包 |
cloudos-dbaas-zookeeper-<version>.zip |
用于安装ZooKeeper |
由H3C提供 |
ZooKeeper安装包采用云形态进行部署,具有以下要求:
· 部署ZooKeeper安装包时,要求系统中必须已部署CloudOS Plat、CloudOS IaaS、Base。即部署顺序为:1)部署CloudOS Plat、2)部署CloudOS IaaS、3)部署Base、4)部署ZooKeeper。
· 部署ZooKeeper集群时,需使用已创建好的KaaS集群,KaaS集群的创建可详见H3C CloudOS产品相关文档。
部署ZooKeeper集群前,必须考虑以下要求:
· ZooKeeper集群只有容器模式,且集群中节点数量只能为3、5、7。系统内置了组件部署策略。根据现场实际情况和业务需求,进行ZooKeeper集群规划时需关注集群节点数目。
· 创建ZooKeeper集群前需先创建KaaS集群,在云平台[云服务/云容器引擎/集群]新建KaaS集群时要求Kubernetes版本1.15.0+。
· 创建KaaS集群之后,需在KaaS集群中创建StorageClass。新建容器集群时,依赖该StorageClass。
访问管理页面,上传ZooKeeper云服务安装包,步骤如下:
(1) 在顶部导航栏选择[系统]菜单项进入系统管理页面。
(2) 在左侧导航树中选择[服务与组件/部署向导],进入部署向导页面。
(3) 在部署向导页面,根据页面上提示上传cloudos-dbaas-ZooKeeper安装包到对应目录下。上传步骤如下:
通过sftp方式将cloudos-dbaas-ZooKeeper服务安装包上传至sftp://<IP>:/opt/sys-app/package-files文件夹下。
(4) 上传完成后,刷新列表并选择cloudos-dbaas-ZooKeeper服务安装配置。
图8-2 上传安装包
访问管理页面,部署ZooKeeper云服务安装包,步骤如下:
(1) 在顶部导航栏选择[系统]菜单项进入系统管理页面。
(2) 在左侧导航树中选择[服务与组件/部署向导],进入部署向导页面。
(3) 勾选列表中的cloudos-dbaas-ZooKeeper安装包,此时按需求选择安装包版本,部署区域默认由系统自动分配。
(4) 安装包选择完成后,ZooKeeper安装包无高级配置参数,此时可直接单击<立即部署>按钮,等待部署成功。
(5) 安装包部署成功后,此安装包内的ZooKeeper默认为启用状态,此时可在顶部导航栏云服务的下拉列表中进行查看。
图8-3 部署安装包
· 建议创建ZooKeeper集群使用的KaaS集群节点与CloudOS平台(CloudOS IaaS)在同一网。
· 网络带宽要求在10Gb/s以上。
· ZooKeeper集群中各节点之间不能跨越防火墙。
· ZooKeeper集群的创建依赖于KaaS集群,KaaS集群的创建方式请参见CloudOS云操作系统在线帮助[云服务/云容器引擎/集群]。
· 新建ZooKeeper集群时,同一个ZooKeeper集群中仅支持使用一种类型的云资源。
容器集群部署在KaaS集群上,KaaS集群要求如下:
· 在ZooKeeper容器集群中,实例的规格要求最小为1*4*32(即1核CPU*4GB内存*32GB硬盘)。KaaS集群的规格在创建KaaS集群时确定,通过云平台的[云服务/云容器引擎]管理页面的左侧导航树中进入[云容器引擎/集群]页面进行创建KaaS集群。
· 普通用户新建集群时,需要走流程审批,待组织管理员审批通过后才能触发新建集群的操作。管理员用户新建集群时,会直接触发新建集群的操作。
· 若具有自定义角色的用户申请集群,需要为该用户的角色配置权限。如该用户为普通用户,创建自定义角色时需要为该角色配置申请创建集群权限;如该用户为管理员用户,创建自定义角色时需要为该角色配置创建集群权限。
· 集群名称具有唯一性,在CloudOS DBaaS的各数据库与中间件云服务之间,不支持创建同名集群。
· 在ZooKeeper集群中,实例的规格要求最小为1*4*32(即1核CPU*4GB内存*32GB硬盘)。集群的规格在页面上已经限制,按照页面的提示输入即可。
· 新建集群时支持安装的组件类别和版本号,详情请以实际页面为准。
根据集群部署规划,在KaaS资源准备完成以后,可新建ZooKeeper集群。
访问管理页面,新建ZooKeeper集群的步骤如下:
(1) 在顶部导航栏选择[云服务/应用协调服务ZooKeeper]菜单项进入对应管理页面。
(2) 在左侧导航树中选择[集群管理],进入集群管理页面,单击<新建集群>按钮,跳转至新建ZooKeeper集群页面。
(3) 新建ZooKeeper集群的向导包括以下3个配置步骤,根据页面提示配置对应参数项的值。
(4) 第一步:基础配置,参数说明如下:
¡ 集群名称:自定义输入符合命名规则的集群名称。
¡ 资源模式: 当前仅支持容器集群。
¡ 集群描述:自定义添加集群的描述信息,以便于快速了解集群的相关信息。
¡ 安装组件:已缺省配置选择ZooKeeper。
¡ 开启监控:选择是否打开集群监控,默认状态为关闭,开启监控则需要设置监控周期。若开启监控,可监控ZooKeeper集群的状态等。
图8-4 基础配置
(5) 第二步:硬件配置,参数说明如下:
¡ KaaS集群:K8s集群,可通过[云服务\云容器引擎\集群\新建集群]进行创建,创建的ZooKeeper集群运行在该K8s集群上。。
¡ 注:在云平台的[云服务/云容器引擎/集群]新建集群时要求Kubernetes版本1.15.0+。
¡ NameSpace:ZooKeeper容器集群在KaaS集群中使用的命名空间,同时支持手动输入和下拉选择。
¡ StorageClass:kubernetes中用来自动创建PV的一种资源,该资源用来为集群提供存储空间。
注:创建KaaS集群之后,需在KaaS集群中创建该资源,新建容器集群时StorageClass下拉框显示创建的该资源。
¡ Service名称:支持用户自定义ZooKeeper服务的服务名。
¡ HeadLess Service名称:Headless service是一种特殊Service,可用来获取当前集群提供的所有的服务地址。
¡ 实例个数:在下拉框中选择组成集群的实例数。集群实例数仅可为3、5或7个。
¡ 实例规格:实例规格有三种资源类型,分别为CPU、内存、硬盘,用户可自定义实例规格,最小单个实例规格:1核CPU*4GB内存*32GB硬盘。
图8-5 硬件配置
(6) 第三步:确认信息,查看集群基础配置、参数配置的详细信息,若检查配置无误可单击<确认信息并创建>按钮启动创建集群,若检查配置有误可返回上一步进行修改。
(7) 创建集群启动后,会跳转至集群列表页面,等待一段时间集群即可创建完成。
中间件云服务安装完成后,均可在180天内试用所有功能。超过试用期限后,需要获取License授权才能正常使用。
Kafka、RabbitMQ、ActiveMQ、ZooKeeper的授权均为“数量型授权”(即对集群数量进行管控)。所有中间件中涉及告警监控功能的操作,需获取高级运维功能License授权后才可以正常使用,其中告警监控(高级运维)功能的授权均为“集群数量型”。关于中间件License授权详情请参见《H3C 中间件 License支持情况说明》。
中间件云服务需通过License Server获取授权,在进行中间件的License配置时,需提前完成License远程授权相关操作,详情请参见《H3C软件产品远程授权License使用指南》。
访问CloudOS管理页面,成功连接到License Server的客户端后,Kafka、RabbitMQ、ActiveMQ、ZooKeeper可以向License Server请求授权并将请求结果展示在页面上。
配置License的步骤如下:
(1) 访问管理页面,在顶部导航栏选择[系统]菜单项进入系统管理页面。
(2) 在左侧导航树中选择[软件授权],进入License管理页面。
(3) License管理页面上方展示“License Server配置”,页面下方显示“授权信息”,下面对这两部分进行详细介绍。
¡ License Server配置
License Server配置栏显示管理页面与License Server客户端连接时的配置信息。单击左上角的<配置>按钮可对License Server客户端连接信息进行配置,参数说明如下:
- 授权服务IP地址:License Server客户端所在主机的IP地址。
- 授权服务端口:License Server授权服务端口号,缺省为“5555”。
- 客户端名称:License Server中设置的客户端名称。
- 客户端密码:License Server中设置的客户端名称对应的密码。
通过这些配置信息,单击<确认>按钮即可连接到对应的License Server客户端自动获取授权信息。
· License配置时填写的用户名和密码必须为License Server中创建的客户端的名称和密码。
· 单击<连接>按钮后,若无法连接到License Server,会弹出错误提示信息,此时则需要检查输入是否正确或者License Server是否正常运行。
管理页面和License Server定期通信更新授权状态,授权信息栏可查看当前系统中授权使用情况。当License Server上的授权信息变更时,单击<同步>按钮可手动刷新当前授权信息列表。其中:
- 获得授权:从License Server获取到的授权状态。对于数量型授权,该值为实际获取的授权数量;对于功能型授权,该值为true(获取授权成功)或false(获取授权失败)。
- 使用授权:对于数量型授权,该值表示已经使用的授权数量;对于功能型授权,该值为空。
- 剩余有效时间:对于正式授权,该值为“永久”。
在生产环境中,CloudOS云操作系统的使用也需要相应授权的支持,请确保在License Server上安装相关的授权。
访问管理页面,检查某集群中主机运行状态的步骤如下:
(1) 在顶部导航栏选择[云服务/云服务名]菜单项进入对应云服务的管理页面。
(2) 在左侧导航树中选择[集群管理],进入集群管理页面。
(3) 在集群管理页面,选择[集群列表]页签,单击某集群名称可跳转至对应的集群详情页面。
(4) 在集群详情页面的[主机]页签,可查看集群中的主机列表及主机运行状态。检查范围包括:
¡ 检查部署的集群中所有节点是否都在主机列表中。
¡ 检查所有主机状态是否都正常。
- 若集群运行状态为“在线”,则表示主机正常。
- 若集群运行状态为“离线”,则表示主机已关机或存在其他故障,需要检查。
图10-1 主机健康状况
访问管理页面,检查某集群中组件运行状态的步骤如下:
(1) 在顶部导航栏选择[云服务/云服务名]菜单项进入对应云服务的管理页面。
(2) 在左侧导航树中选择[集群管理],进入集群管理页面。
(3) 在集群管理页面,选择[集群列表]页签,单击某集群名称可跳转至对应的集群详情页面。
(4) 在集群详情页面的[组件]页签,可查看集群中的组件列表及组件运行状态。检查范围包括:
¡ 检查部署的集群中已部署的所有组件是否都在组件列表中。
¡ 检查所有组件状态是否都正常。
图10-2 组件健康状况
仅当Kafka、RabbitMQ集群部署时选择裸金属主机时,才需要在集群部署完成后去检查数据盘。
Kafka不支持在部署集群时自定义数据目录,但支持在集群部署成功之后修改数据目录。
新建Kafka集群时,系统内置了Kafka数据盘的选择策略及磁盘挂载策略,即:部署Kafka集群时,将同时对主机节点执行安装操作系统、磁盘挂载等操作,系统缺省将裸金属节点上的数据盘分别挂载到/volume/disk*目录下,然后Kafka集群会从集群内的所有主机节点上识别出所有数据目录的交集(即在各个节点上都存在的目录)做为Kafka数据存储目录。
【注意】部署Kafka集群之前,需要按照5.5.1 2. (2)集群部署在裸金属上时服务器硬件配置要求中裸金属磁盘RAID要求对Kafka各节点的裸金属节点配置磁盘RAID,才能实现预期分配目的。
为保证Kafka集群数据的正常存储需求,集群部署完成后,需要对Kafka数据存储位置做检查。Kafka集群数据存储位置检查步骤如下:
(1) 通过前端页面查看Kafka集群的数据存储路径
进入Kafka组件详情页面,在配置页签查看Kafka配置中log.dirs配置项的值。如图10-3所示,Kafka集群的数据存储路径为/volumes/disk*/kafka-logs(Kafka集群的数据目录可能同时有多个,具体情况视磁盘个数而定)。
图10-3 查看Kafka集群的数据目录
(2) 通过后台命令查看Kafka集群的数据存储路径对应的磁盘详情
登录Kafka集群任一节点,执行df -h /volumes/disk1/kafka-logs命令即可查看Kafka集群的数据目录使用的磁盘,确认磁盘空间足够大即可(数据目录有多个的时候,需要分别查看/volume/disk*/kafka-logs)。
图10-4 查看Kafka集群的数据目录对应的磁盘详情
若检查Kafka数据存储位置之后,发现操盘和数据目录与预期不对应,可通过以下操作进行修改:
(1) 进入Kafka组件详情页面,在配置页签修改Kafka配置中log.dirs配置项的值(即更改Kafka集群的数据目录)。
(2) 重启Kafka,使配置修改生效。
RabbitMQ不支持在部署集群时自定义数据目录,在集群部署成功之后也不支持修改数据目录。
新建RabbitMQ集群时,系统内置了RabbitMQ数据盘的选择策略及磁盘挂载策略,即:部署RabbitMQ集群时,将同时对主机节点执行安装操作系统、磁盘挂载等操作,系统缺省将裸金属节点上的数据盘分别挂载到/volume/disk*目录下,然后RabbitMQ集群会从集群内的所有主机节点上识别出所有数据目录的交集(即在各个节点上都存在的目录)做为RabbitMQ数据存储目录。
【注意】部署RabbitMQ集群之前,需要按照6.5.1 2. (2)集群部署在裸金属上时服务器硬件配置要求中裸金属磁盘RAID要求对RabbitMQ各节点的裸金属节点配置磁盘RAID,才能实现预期分配目的。
为保证RabbitMQ集群数据的正常存储需求,集群部署完成后,需要对RabbitMQ数据存储位置做检查。RabbitMQ集群数据存储位置检查步骤如下:
(1) 通过前端页面查看RabbitMQ集群的数据存储路径
进入RabbitMQ组件详情页面,在配置页签查看RabbitMQ配置中rabbitmq_data_location配置项的值。如图10-5所示,RabbitMQ集群的数据存储路径为/volumes/disk*/rabbitmq/data(RabbitMQ集群的数据目录可能同时有多个,具体情况视磁盘个数而定)。
图10-5 查看RabbitMQ集群的数据目录
(2) 通过后台命令查看RabbitMQ集群的数据存储路径对应的磁盘详情
登录RabbitMQ集群任一节点,执行df -h /volumes/disk1/rabbitmq/data命令即可查看RabbitMQ集群的数据目录使用的磁盘,确认磁盘空间足够大即可(数据目录有多个的时候,需要分别查看/volume/disk*/rabbitmq/data)。
图10-6 查看RabbitMQ集群的数据目录对应的磁盘详情
若检查RabbitMQ数据存储位置之后,发现操盘和数据目录与预期不对应,本版本暂不支持修改。
· 当集群中有正在运行的任务时,删除集群后集群中的所有任务都将被同步删除。
· 删除集群时,会同步删除该集群包含的所有主机,此时删除后的主机不可直接再被其他集群使用。
· 对于Kafka云服务,因在CloudOS系统中日志服务依赖Kafka集群,所以当某个Kafka集群被日志服务占用时该Kafka集群不允许被删除。
集群在使用过程中,根据实际需要,可执行删除集群的操作。
(1) 在服务管理页面的左侧导航树中选择[集群管理],进入集群管理页面。
(2) 在集群管理页面,选择[集群列表]页签,单击某集群对应的<删除>按钮并在弹窗中进行确定后,即可删除该集群。
图11-1 删除集群
删除服务表示删除云平台中已安装的云服务。
· 在生产环境中,删除云服务功能不可回退或暂停,请谨慎使用。
· 删除云服务前(Base包除外),请确保对应云服务的集群或实例已全部删除。
· 若环境中仍有其他服务依赖Base包,则不可删除Base包云服务,以免造成数据丢失以及服务不可用。
(1) 在系统页面的左侧导航树中选择[服务与组件],进入服务列表页面。
(2) 在服务列表页面,选择[云服务]页签,单击某服务对应的<删除>按钮并在弹窗中进行确定后,即可删除该服务。
图11-2 删除服务
表12-1 组件日志路径说明
组件 |
日志路径 |
Kafka |
/var/log/kafka/user_kafka |
RabbitMQ |
/var/log/rabbitmq/主机名.log 说明:当RabbitMQ集群包含多个主机节点时,每个主机下面都有一个.log文件,需要分别登录不同主机上查看各主机对应的.log文件。 |
ActiveMQ |
/var/lib/activemq/activemq.log 说明:当搭建ActiveMQ主从模式时,每个主机下对应的上述目录下都有一个日志文件,需要分别登陆到不同的主机上查看对应的日志信息 |
ZooKeeper |
/logs 说明: 1.需要后台进入容器中查看日志 2.一个zk集群有多个zk实例,每个实例对应一个pod,需进入对应的pod中查看各实例的log文件 |
不同款型规格的资料略有差异, 详细信息请向具体销售和400咨询。H3C保留在没有任何通知或提示的情况下对资料内容进行修改的权利!