新建Kafka集群
|
|
· 普通用户新建集群时，需要走流程审批，待组织管理员审批通过后才能触发新建集群的操作。管理员用户新建集群时，会直接触发新建集群的操作。 · 集群名称具有唯一性，在系统中创建多个集群时名称不能重复。 · 新建集群前需要提前对节点数量、是否开启安全管理等进行规划。 · 新建Kafka容器集群需要先创建KaaS集群，KaaS集群可视为容器集群的资源域。可通过[云服务/云容器引擎/集群]新建集群进入KaaS集群创建页面。 · 创建KaaS集群之后，需在KaaS集群中创建StorageClass。新建容器集群时，依赖该StorageClass。 · 在云平台的[云服务/云容器引擎/集群]新建KaaS集群时要求Kubernetes版本1.15.0+。 · 新建虚拟机或裸金属集群时默认开启安全管理。若在新建集群时没有开启安全管理，则后续在使用过程中将再也无法开启。所以在生产环境中，强烈建议新建集群时开启安全管理。 · 新建集群前，要求在云平台中已完成云资源的准备。云资源包括裸金属、虚拟机和KaaS集群三种，根据实际使用需求任选其一即可。 · 在Kafka虚拟机集群中，虚拟机的节点规格建议使用4*12*80（即4核CPU*12GB内存*80GB硬盘）以上，最小节点规格为2*8*40（即2核CPU*8GB内存*40GB硬盘），虚拟机的节点规格可以在云平台的[云服务/云主机]管理页面的左侧导航树中进入[服务配置/云主机规格/组合规格]页面进行自定义新增，超过最小规格要求的节点规格才可被识别到。 · 在Kafka裸金属集群中，裸金属的节点规格根据硬件配置自动获取，规格数据来自云平台的[资源/裸金属资源池]中处于“可分配”状态的节点。 · 在Kafka容器集群中，KaaS集群工作节点规格要求最小为8*32*100（即8核CPU*32GB内存*100GB硬盘），Kafka实例节点规格建议最小为1*4*128（即1核CPU*4GB内存*128GB硬盘）。容器集群的节点规格在集群创建页面已初始化好，按需选择即可。 · Kerberos环境下不支持IP访问Kafka集群，需要配置Kafka集群的hosts信息才可以访问；非Kerberos环境下支撑IP访问Kafka集群。 · Kafka集群支持安装的组件类别和版本号，详情请以实际页面为准。 |
新建Kafka集群的步骤如下：
在云服务管理页面的左侧导航树中选择[集群管理]，进入集群管理页面。
在集群管理页面，选择[集群列表]页签，单击<新建集群>按钮，跳转至新建Kafka集群页面。
新建集群包括3个配置步骤，根据提示配置对应参数项的值。
第一步：基础配置，参数说明如下：
集群名称：自定义输入符合命名规则的集群名称。
资源模式：创建不同资源类型的集群，选择容器集群与选择虚拟机或裸金属集群的配置参数不一样。按照实际需求，选择合适的资源模式。
集群描述：自定义添加集群的描述信息，以便于快速了解集群相关信息。
选择安装组件：虚拟机和裸金属集群缺省配置选择了ZooKeeper、Kafka两个组件，容器集群缺省配置选择了Kafka一个组件。
安全管理（虚拟机或裸金属集群）：可选择是否开启安全管理。若选择开启，则同时提供Kerberos认证、审计管理、权限管理功能，提供用户安全认证和数据安全访问等功能，保证数据安全性。
Kerberos认证：开启安全管理时默认开启Kerberos认证（不支持关闭），提供用户安全认证方式功能。
审计管理：选择集群是否开启审计管理。审计管理可以记录用户访问组件的信息，并提供界面化的查询功能。
权限管理：开启安全管理时默认开启权限管理（不支持关闭），提供数据的权限访问控制。
集群超级用户：开启安全管理时默认配置集群超级用户为kafka。该用户拥有创建topic、向任何topic生产数据、从任何topic消费数据等操作权限（此时仅Kafka用户拥有创建topic的权限）。
【说明】开启安全管理时，kafka用户会在[系统管理/用户管理]页面的用户列表中展示，可执行下载用户认证文件等操作。未开启安全管理时，集群所有用户均拥有创建topic、向任何topic生产数据、从任何topic消费数据等操作权限。
密码：配置集群超级用户kafka的密码，支持自定义输入符合规则的密码。
确认密码：重复输入集群超级用户kafka的密码，进行确认。
开启监控：选择是否打开集群监控，默认状态为关闭，开启监控则需要设置监控周期。若开启监控，可监控数据库服务的状态和主机使用状态等。
监控周期：开启监控后能设置监控周期，通过修改监控数据的抓取频率。
第二步：硬件配置，当资源模式选择容器集群和选择虚拟机或裸金属集群时，硬件配置参数不同，
虚拟机或裸金属资源模式硬件配置参数说明如下：
资源区域：配置集群使用的资源区域，资源区域对应集群节点的虚拟化类型。资源区域需提前在云平台的[资源/可用域/计算可用域]中进行准备。
虚拟化类型：当前版本中，仅支持CAS、VMware和BareMetal类型。其中：CAS、VMware类型对应的云资源为虚拟机，BareMetal类型对应的云资源为裸金属，请根据实际情况进行选择。
密钥对：配置密钥对后可实现通过密钥文件直接进行集群主机的免密登录。密钥对需提前在云平台的[云服务/云主机/密钥对]中进行准备。
Kafka实例节点数：新建Kafka集群的实例节点数量，至少为3个，最大为99个。
Kafka节点反亲和：当虚拟化类型为CAS时可开启Kafka节点反亲和，开启反亲和后创建的虚拟机节点会调度到不同的物理机上。
集群节点：集群节点包含多种类型，Kafka实例可以指定IP地址，也可以自动分配。详情请参见表-1。
【注意】同一节点类型的节点规格必须完全一样，格式为“CPU*内存*硬盘”（CPU单位为“核”，内存单位为“GB”，硬盘单位为“GB”），请根据实际情况进行选择。
|
节点类型 |
是否必选 |
选型说明 |
描述 |
|
Kafka实例 |
必选 |
Kafka运行实例 |
为保证Kafka集群高可用，实例个数至少配置3个，最多99个 |
|
专有Zookeeper实例 |
可选 |
用来协调整个集群的实例，集群达到一定规模时，可单独部署Zookeeper的实例 |
若配置专有Zookeeper实例，则实例个数至少配置3个，且只能配置奇数个 【说明】
|
网络：配置集群的管理网络。管理网络需提前在云平台的[云服务/经典网络]中进行准备。
【注意】网络需保证通过该网络创建的主机和云平台之间网络互通
|
|
硬件配置信息配置完成后，单击<下一步：确认信息>，当弹出对话框时，需按照提示在[资源/虚拟化/计算节点]页面，单击<编辑>按钮修改参数如下： · 云主机初始化模式：专业模式，目前只支持专业模式。 · 驱动格式：VFAT，建议选择VFAT驱动格式。当虚拟机类型为CAS时，需要选择该项。 修改参数完成后，即可重新新建集群。 |
容器资源模式硬件配置参数说明如下：
KaaS集群：K8S集群，可通过[云服务\云容器引擎\集群\新建集群]进行创建，创建的Kafka集群运行在该K8S集群上。
注：在云平台的[云服务/云容器引擎/集群]新建集群时要求Kubernetes版本1.15.0+。
NameSpace：下拉选择或手动输入Kafka集群在KaaS集群中的命名空间。
存储：选择Kafka集群所用的存储类型。
StorageClass：kubernetes中用来自动创建PV的一种资源，该资源用来为集群提供存储空间。
注：创建KaaS集群之后，需在KaaS集群中创建该资源，新建容器集群时StorageClass下拉框显示创建的该资源。
PV：输入KaaS集群中已有PV的label键值，绑定PV。
ZooKeeper地址：输入外部ZooKeeper地址或下拉选择KaaS集群中已有的ZooKeeper地址，供Kafka存储元数据使用。
Service名称：自定义创建Kafka集群的Service名称，即创建Kubernetes中的Service资源，提供一种对外访问地址。
HeadLess Service名称：自定义创建Kafka集群的HeadLess Service，即创建Kubernetes中的HeadLess Service资源，提供一种对外访问地址。
实例个数：可选3~9个实例数，即Kafka集群有多少个Broker节点。
实例规格：设置容器集群中每个实例的资源，最小1核CPU*4GB内存*128GB存储。
第三步：确认信息，查看集群的基础配置、硬件配置的详细信息，若检查配置无误可单击<确认信息并创建>按钮启动创建集群，若检查配置有误可返回上一步进行修改。