新建集群

·          普通用户申请集群时，需要走流程审批，待审批人审批通过后才能触发新建集群的操作。系统超级管理员或运维管理员新建集群时，无需审批，会直接触发新建集群的操作。 ·          集群名称具有唯一性，在系统中创建多个集群时名称不能重复。 ·          新建集群前，要求在[集群管理/主机管理/主机资源]页面的[主机列表]页签中已完成所需主机的新增，且这些主机的操作系统必须与部署大数据平台管理系统的管理节点的操作系统相同。 ·          若规划集群开启高可用，则新建集群前，要求必须在[集群管理/主机管理/主机资源]页面的[虚拟IP列表]页签中已完成所需虚拟IP的新增。 ·          不同组件之间可能存在依赖关系，请根据页面提示进行关联选择即可。 ·          大数据集群支持安装的组件类别和版本号，详情请以实际页面为准。 ·          大数据集群创建完成以后，集群中的主机节点不允许修改主机名。

 

当前版本中，大数据平台中支持新建的集群类型包括：

• 新建Hadoop集群

• 新建Elasticsearch集群

• 新建Solr集群

• 新建Kafka集群

• 新建Redis集群

 

新建Hadoop集群

·          新建集群前需要提前规划集群模式和集群超级用户，且同时需要提前对节点数量、待安装组件、是否开启安全管理、是否开启组件日志、是否开启高可用等进行规划。 ·          新建集群时，若没有开启安全管理（Kerberos除外）和高可用，则后续在使用过程中将再也无法开启。所以在生产环境中，强烈建议新建集群时同时开启安全管理和高可用。 ·          存储类型支持HDFS、对象存储，请根据实际情况提前进行存储类型的规划以及相关存储的准备。其中：HDFS、YARN、MapReduce、Hive、Spark、HBase、Flink、Impala和DLH组件选择存储类型时会生效，Kafka、Elasticsearch、Solr和Redis组件仍使用原有存储方式（即选择存储类型不生效）。需要注意：选择不同的存储类型时，部分组件部署时的内置组件缺省规则将不同，详情请待集群部署成功后查看。 ·          选择安装组件时，Hadoop组件提供针对大数据集群的分布式数据存储、离线计算、统一资源调度框架，包含HDFS、MapReduce、YARN。 ·          新建集群时，若规划安装支持磁盘配置的组件（如Redis、Solr、Elasticsearch、HDFS等），可在磁盘配置步骤自定义设置其对应的管理配置组或磁盘挂载点；若不设置，则将按照内置缺省规则进行组件部署，且没有挂载数据磁盘时组件数据会和操作系统共用存储空间。 ·          大数据集群创建完成以后，集群中的主机节点不允许修改主机名。

 

集群类型为Hadoop集群时，集群中可安装Spark、Elasticsearch、Hive、Flink、Zookeeper、Kafka等组件，支持部署多种模式或多种功能用途的大数据集群，比如查询分析集群、流式计算集群、全文检索集群等。

新建Hadoop集群的步骤如下：

1. 在集群管理的左侧导航树中选择[集群列表]，进入集群列表页面。

2. 在集群列表页面，单击<新建集群>按钮，跳转至新建集群页面。

3. 输入集群名称，选择集群类型为Hadoop，即可开始新建Hadoop集群。

4. 新建Hadoop集群包括5个配置步骤，根据提示配置对应参数项的值，如下：

第一步：基础配置，参数说明如下：

• 集群名称：自定义输入符合命名规则的集群名称。

• 集群类型：选择Hadoop类型。

• 集群模式：选择新建集群的模式，包括独立模式和租户模式两种。

• 集群超级用户：配置集群的超级用户，用于访问集群中的组件，并拥有对应组件权限，关于集群超级用户权限详情请参见集群超级用户的权限范围是什么。注意：admin用户、root用户、组件超级用户（如hdfs、storm、hbase等）、hadoop用户等不可被选作为集群超级用户。待新建集群成功后，集群超级用户会自动同步到[集群权限/用户管理]中。

• 密码：输入集群超级用户对应的密码。

• 确认密码：再次输入集群超级用户对应的密码，进行确认。

• 集群描述：自定义添加集群的描述信息，以便于快速了解集群相关信息。

• 选择安装组件：根据部署规划，勾选待安装的组件。其中：基础组件Hadoop和Zookeeper为必选项，其他组件可选。

• 安全管理：独立集群可选择是否开启安全管理。若选择开启，则同时提供Kerberos认证、审计日志、权限与密钥管理功能，提供用户安全认证和数据安全访问等功能，保证数据安全性。租户集群缺省开启安全管理功能（不支持关闭）。

• Kerberos认证：Kerberos认证可以提供用户安全认证方式功能。独立集群可选择是否开启Kerberos认证。租户集群缺省开启Kerberos认证功能（不支持关闭）。

• 审计日志：选择集群是否开启审计日志。审计日志可以记录用户访问组件的信息，并提供页面化的查询功能。

• 权限与密钥管理：开启安全管理时默认开启权限与密钥管理（不支持关闭）。权限与密钥管理可以提供数据的访问权限控制和HDFS密钥管理工具。

• 组件日志：选择集群是否开启组件日志。若选择开启，则该集群提供组件日志功能；若没有开启，则后续在使用过程中将再也无法开启。

• 存储类型：为Hadoop组件选择存储类型，包括HDFS、对象存储。

• 存储类型选择HDFS时，表示将HDFS数据存储在HDFS组件的DataNode中，即属于存储和计算未分离情况。

• 存储类型选择对象存储时，表示将HDFS数据存储在对象存储内，即属于存储和计算分离情况。

参数	说明
网关地址	对象存储的网关地址，支持IP或域名两种方式。当选择以域名作为网关地址时需要填写DNS IP，当选择以IP作为网关地址时DNS IP不需要填写。 网络要求：大数据集群主机需可以正常访问网关地址。
Access Key	用户访问对象存储时用到的Access Key ID，用于标识用户。
Secret Key	用户访问对象存储时用到的Secret Key，用于验证用户的密钥。
容器名称	对象网关的bucket（桶）。
DNS IP	DNS IP地址，即域名服务器的IP地址。

 

第二步：硬件配置，参数说明如下：

• 高可用：选择集群是否开启高可用。若选择开启，则组件的管理进程将同时部署到两个节点上，实现双机热备；若未开启高可用，则存在安全单机故障的风险。创建集群时，缺省开启高可用。

• 集群节点：创建集群时，集群节点包含多种类型，详情请参见表-1。新建集群时，集群节点数量至少为3个。根据是否开启高可用，Master实例要求部署个数不同，且Core实例的最少部署个数也不同。

【说明】已添加的主机节点支持移除、更新信息（手动刷新主机最新的配置信息）。

表-1 集群节点说明

节点类型	是否必选	选型说明	描述
Master实例	必选	即主实例，用来管理集群、进行资源调度的实例，主要部署各组件的Master进程，如NameNode、ResourceManager等 【说明】若集群未开启高可用，则Master实例个数为1，且不可更改；若集群开启了高可用，则Master实例个数为2，且不可更改	在生产环境中，强烈建议集群开启高可用，此时HDFS、YARN、Hive、HBase等组件也将同步开启HA 【注意】在生产环境中，若在创建集群的硬件配置步骤没有开启高可用，后续在使用过程中集群将再也无法开启高可用
Core实例	必选	即核心实例，用来存储数据和处理数据的实例，主要部署各组件的数据进程等，如DataNode，NodeManager等 【说明】若集群未开启高可用，则Core实例个数至少为2；若集群开启了高可用，则Core实例个数至少为1	在生产环境中，Core实例的个数需要根据实际数据量大小或计算需求等情况进行规划
专有实例	可选	当前版本中，集群支持的专有实例类型包括：Redis、Zookeeper、Elasticsearch、Solr、Kafka	集群达到一定规模时，可单独部署指定组件的实例

 

第三步：实例分配，显示待安装组件的各进程在各节点类型的主机上的部署规则，此时部分进程的部署配置可自定义做出调整，不支持做调整的部署配置将置灰（系统中已内置组件进程的部署规则）。

第四步：磁盘配置，在存储目录下勾选组件后，在操作栏中单击<修改>按钮，会弹出管理配置组窗口，然后在窗口中单击添加配置组图标，输入配置组名称和描述即可添加配置组，添加成功后即可管理配置组。

• 添加配置组：在配置组列表中，单击图标，弹出添加配置组窗口，输入配置组名称、描述即可完成添加。

• 编辑配置组：在配置组列表中选择某配置组后，单击图标，弹出修改配置组窗口，可修改该配置组名称或描述。

• 删除配置组：在配置组列表中选择某配置组后，单击图标并在弹窗中进行确认后即可删除该配置组。

• 添加主机：在配置组列表中选择某配置组后，然后在对应的主机列表中单击图标，弹出增加配置组主机窗口，可为该配置组选择要添加的主机。

• 删除主机：在配置组列表中选择某配置组后，然后在对应的主机列表中选择某主机后，单击图标并在弹窗中进行确认后即可删除该主机。

• 挂载点列表：若某配置组选择的主机节点对应的磁盘有划分分区，可在挂载点列表勾选其数据盘对应的挂载路径（若无挂载点信息，请尝试单击刷新按钮获取）。

第五步：确认信息，查看集群的基础配置、硬件配置、实例分配的详细信息，若检查配置无误可单击<确认信息并创建>按钮启动创建集群，若检查配置有误可返回上一步进行修改。

5. 创建集群启动后，会跳转至集群列表页面，等待一段时间集群即可创建完成。

新建Elasticsearch集群

·          新建集群前需要提前对节点数量（是否配置专有Master实例或Client实例）、是否开启安全管理、是否开启高可用等进行规划。 ·          新建集群时，若没有开启安全管理和高可用，则后续在使用过程中将再也无法开启。 ·          选择安装组件时，不同组件之间可能存在依赖关系，请根据页面提示进行关联选择即可。 ·          大数据集群创建完成以后，集群中的主机节点不允许修改主机名。

 

新建Elasticsearch集群的步骤如下：

1. 在集群管理的左侧导航树中选择[集群列表]，进入集群列表页面。

2. 在集群列表页面，单击<新建集群>按钮，跳转至新建集群页面。

3. 输入集群名称，选择集群类型为Elasticsearch，即可开始新建Elasticsearch集群，

4. 新建Elasticsearch集群包括3个配置步骤，根据提示配置对应参数项的值，如下：

第一步：基础配置，参数说明如下：

• 集群名称：自定义输入符合命名规则的集群名称。

• 集群类型：选择Elasticsearch类型。

• 集群模式：Elasticsearch集群仅支持独立模式。

• 集群描述：自定义添加集群的描述信息，以便于快速了解集群相关信息。

• 安装组件：已缺省配置选择Elasticsearch。

• 安全管理：可选择是否开启安全管理。若选择开启，则同时提供Kerberos认证、审计日志、权限管理功能，提供用户安全认证和数据安全访问等功能，保证数据安全性。

• Kerberos认证：选择集群是否开启Kerberos认证，Kerberos认证可以提供用户安全认证方式功能。

• 审计日志：选择集群是否开启审计日志。审计日志可以记录用户访问组件的信息，并提供页面化的查询功能。

• 权限管理：开启安全管理时默认开启权限管理（不支持关闭），提供数据的访问权限控制。

第二步：硬件配置，参数说明如下：

• 集群管理高可用：选择集群管理是否开启高可用。若选择开启，则组件的管理进程将同时部署到两个节点上，实现双机热备；若未开启高可用，则存在安全单机故障的风险。创建集群时，缺省开启高可用。

• 集群节点：创建集群时，集群节点包含多种类型，详情请参见表-2。此时，Elasticsearch集群可选择是否开启专有Master实例或Client实例。

【说明】已添加的主机节点支持移除、更新信息（手动刷新主机最新的配置信息）。

表-2 集群节点说明

节点类型	是否必选	选型说明	描述
专有Master实例	可选	用于处理数据读写请求的实例，可避免大数据量时Data实例负载过大。若开启专有Master实例，则集群的主节点将在专有Master实例中选出，主节点只管理集群的元数据信息，不存储数据 【说明】建议在大于等于10实例的集群中开启该功能，且10~49实例的集群建议配置3个专有Master实例，50~100实例的集群建议配置5个专有Master实例	若配置专有Master实例，则实例个数至少配置3个，且只能配置奇数个
Data实例	必选	用来存储数据的实例。如果集群不开启专有Master实例，则Data实例同时承担数据读写请求	在生产环境中，Data实例的个数需要根据实际数据量大小或计算需求等情况进行规划 未开启专有Master实例时，Data实例至少配置3个。不配置专有Master实例和Client实例时，Data实例的节点个数只能为奇数 若开启专有Master实例时，Data实例个数根据实际需求进行配置即可
Client实例	可选	用于对读写请求进行负载均衡的实例。Client实例既不参与主节点选举，也不存储数据，仅负责转发读写请求 【说明】建议在大于等于50实例的集群中开启该功能	若配置Client实例，则实例个数至少配置1个

 

第三步：确认信息，查看集群的基础配置、硬件配置的详细信息，若检查配置无误可单击<确认信息并创建>按钮启动创建集群，若检查配置有误可返回上一步进行修改。

5. 创建集群启动后，会跳转至集群列表页面，等待一段时间集群即可创建完成。

新建Solr集群

·          新建集群前需要提前对节点数量、是否开启安全管理、是否开启高可用等进行规划。 ·          新建集群时，若没有开启安全管理和高可用，则后续在使用过程中将再也无法开启。 ·          大数据集群创建完成以后，集群中的主机节点不允许修改主机名。

 

新建Solr集群的步骤如下：

1. 在集群管理的左侧导航树中选择[集群列表]，进入集群列表页面。

2. 在集群列表页面，单击<新建集群>按钮，跳转至新建集群页面。

3. 输入集群名称，选择集群类型为Solr，即可开始新建Solr集群，

4. 新建Solr集群包括3个配置步骤，根据提示配置对应参数项的值，如下：

第一步：基础配置，参数说明如下：

• 集群名称：自定义输入符合命名规则的集群名称。

• 集群类型：选择Solr类型。

• 集群模式：Solr集群仅支持独立模式。

• 集群描述：自定义添加集群的描述信息，以便于快速了解集群相关信息。

• 安装组件：已缺省配置选择Zookeeper、Solr。

• 安全管理：可选择是否开启安全管理。若选择开启，则同时提供Kerberos认证、审计日志、权限管理功能，提供用户安全认证和数据安全访问等功能，保证数据安全性。

• Kerberos认证：Kerberos认证可以提供用户安全认证方式功能。开启安全管理时默认开启Kerberos认证（不支持关闭）。

• 审计日志：选择集群是否开启审计日志。审计日志可以记录用户访问组件的信息，并提供页面化的查询功能。

• 权限管理：开启安全管理时默认开启权限管理（不支持关闭），提供数据的访问权限控制。

第二步：硬件配置，参数说明如下：

• 集群管理高可用：选择集群管理是否开启高可用。若选择开启，则组件的管理进程将同时部署到两个节点上，实现双机热备；若未开启高可用，则存在安全单机故障的风险。创建集群时，缺省开启高可用。

• 集群节点：创建集群时，集群节点包含多种类型，详情请参见表-3。此时，Solr集群可选择是否开启专有Zookeeper实例。

【说明】已添加的主机节点支持移除、更新信息（手动刷新主机最新的配置信息）。

表-3 集群节点说明

节点类型	是否必选	选型说明	描述
Solr实例	必选	Solr运行实例	实例个数至少配置3个
专有Zookeeper实例	可选	用来协调整个集群的实例 【说明】建议在大于等于50实例的集群中开启该功能，且50~100节点建议配置5个	若配置Zookeeper专有实例，则实例个数至少配置3个，且只能配置奇数个 【说明】 若未配置Zookeeper专有实例，则Zookeeper与Solr部署在相同节点上 若配置Zookeeper专有实例，则Zookeeper与Solr分开部署

 

第三步：确认信息，查看集群的基础配置、硬件配置的详细信息，若检查配置无误可单击<确认信息并创建>按钮启动创建集群，若检查配置有误可返回上一步进行修改。

5. 创建集群启动后，会跳转至集群列表页面，等待一段时间集群即可创建完成。

新建Kafka集群

·          新建集群前需要提前规划集群模式，且同时需要提前对节点数量、是否开启安全管理、是否开启高可用等进行规划。 ·          新建集群时，若没有开启安全管理和高可用，则后续在使用过程中将再也无法开启。 ·          大数据集群创建完成以后，集群中的主机节点不允许修改主机名。

 

新建Kafka集群的步骤如下：

1. 在集群管理的左侧导航树中选择[集群列表]，进入集群列表页面。

2. 在集群列表页面，单击<新建集群>按钮，跳转至新建集群页面。

3. 输入集群名称，选择集群类型为Kafka，即可开始新建Kafka集群，

4. 新建Kafka集群包括3个配置步骤，根据提示配置对应参数项的值，如下：

第一步：基础配置，参数说明如下：

• 集群名称：自定义输入符合命名规则的集群名称。

• 集群类型：选择Kafka类型。

• 集群模式：选择新建集群的模式，包括独立模式和租户模式两种。

• 集群描述：自定义添加集群的描述信息，以便于快速了解集群相关信息。

• 安装组件：已缺省配置选择Zookeeper、Kafka。

• 安全管理：独立集群可选择是否开启安全管理。若选择开启，则同时提供Kerberos认证、审计日志、权限管理功能，提供用户安全认证和数据安全访问等功能，保证数据安全性。租户集群缺省开启安全管理功能（不支持关闭）。

• Kerberos认证：Kerberos认证可以提供用户安全认证方式功能。开启安全管理时默认开启Kerberos认证（不支持关闭）。

• 审计日志：选择集群是否开启审计日志。审计日志可以记录用户访问组件的信息，并提供页面化的查询功能。

• 权限管理：开启安全管理时默认开启权限管理（不支持关闭），提供数据的访问权限控制。

第二步：硬件配置，参数说明如下：

• 集群管理高可用：选择集群管理是否开启高可用。若选择开启，则组件的管理进程将同时部署到两个节点上，实现双机热备；若未开启高可用，则存在安全单机故障的风险。创建集群时，缺省开启高可用。

• 集群节点：创建集群时，集群节点包含多种类型，详情请参见表-4。此时，Kafka集群可选择是否开启专有Zookeeper实例。

【说明】已添加的主机节点支持移除、更新信息（手动刷新主机最新的配置信息）。

表-4 集群节点说明

节点类型	是否必选	选型说明	描述
Kafka实例	必选	Kafka运行实例	为保证Kafka数据高可用，实例个数至少配置3个
专有Zookeeper实例	可选	用来协调整个集群的实例，集群达到一定规模时，可单独部署Zookeeper的实例	若配置Zookeeper专有实例，则实例个数至少配置3个，且只能配置奇数个 【说明】 若未配置Zookeeper专有实例，则Zookeeper与Kafka部署在相同节点上 若配置Zookeeper专有实例，则Zookeeper与Kafka分开部署

 

第三步：确认信息，查看集群的基础配置、硬件配置的详细信息，若检查配置无误可单击<确认信息并创建>按钮启动创建集群，若检查配置有误可返回上一步进行修改。

5. 创建集群启动后，会跳转至集群列表页面，等待一段时间集群即可创建完成。

新建Redis集群

·          新建集群前需要提前对节点数量、是否开启高可用等进行规划。 ·          Redis支持单机模式和集群模式，其中：Redis单机模式的集群节点数为1，Redis集群模式的集群节点数大于等于3（且为奇数）。 ·          Redis单机模式不支持开启高可用，Redis集群模式必须开启高可用。 ·          新建集群时，若没有开启安全管理，则后续在使用过程中将再也无法开启。 ·          大数据集群创建完成以后，集群中的主机节点不允许修改主机名。

 

新建Redis集群的步骤如下：

1. 在集群管理的左侧导航树中选择[集群列表]，进入集群列表页面。

2. 在集群列表页面，单击<新建集群>按钮，跳转至新建集群页面。

3. 输入集群名称，选择集群类型为Redis，即可开始新建Redis集群，

4. 新建Redis集群包括3个配置步骤，根据提示配置对应参数项的值，如下：

第一步：基础配置，参数说明如下：

• 集群名称：自定义输入符合命名规则的集群名称。

• 集群类型：选择Redis类型。

• 集群模式：Redis集群仅支持独立模式。

• 集群描述：自定义添加集群的描述信息，以便于快速了解集群相关信息。

• 安装组件：已缺省配置选择Redis。

• 安全管理：可选择是否开启安全管理。若选择开启，表示开启权限管理（不开启Kerberos、不开启审计日志），提供用户权限控制功能，保证数据安全性。

• 实例副本数：配置Redis集群备份模式，支持单副本和双副本两种方式。根据实际需要，可自定义进行选择。

• 单副本：单机模式下没有备用节点实时同步数据，各个实例之间相互独立。集群模式下存在一主一从的副本机制，主从实例间数据实时同步，能够在主库出现故障的时候自动进行主备切换。

• 双副本：单机模式下没有备用节点实时同步数据，各个实例之间相互独立。集群模式下存在一主两从的副本机制，即一个主实例具备两个从实例，可进一步保障数据的高可用，主从实例间数据实时同步，能够在主库出现故障的时候自动进行主备切换。

第二步：硬件配置，参数说明如下：

• 集群管理高可用：选择集群管理是否开启高可用。若选择开启，则组件的管理进程将同时部署到两个节点上，实现双机热备；若未开启高可用，则存在安全单机故障的风险。创建集群时，缺省未开启高可用。

• 集群节点：创建集群时，集群节点详情请参见表-5。

【说明】已添加的主机节点支持移除、更新信息（手动刷新主机最新的配置信息）。

表-5 集群节点说明

节点类型	是否必选	选型说明	描述
Redis实例	必选	Redis运行实例	Redis支持单机模式和集群模式，其中： 当实例个数为1时，为Redis单机模式，此时不支持开启高可用，且一旦创建不可横向扩容 当实例个数大于等于3时，为Redis集群模式，此时必须开启高可用，且节点数量必须为奇数个 【注意】在生产环境中，若在创建集群的硬件配置步骤没有开启高可用，后续在使用过程中集群将再也无法开启高可用

 

第三步：确认信息，查看集群的基础配置、硬件配置的详细信息，若检查配置无误可单击<确认信息并创建>按钮启动创建集群，若检查配置有误可返回上一步进行修改。

5. 创建集群启动后，会跳转至集群列表页面，等待一段时间集群即可创建完成。