组件管理

[组件管理]展示集群中各组件的基本信息、概要、部署拓扑、配置详情和配置修改历史等相关信息，同时可对组件或进程执行相关管理操作。

查看组件详情

在大数据集群中，不同组件的组件详情页面不同，相同组件在不同集群条件下（比如集群存储类型不同）的组件详情页面也不同，详情请以实际页面为准。

 

组件详情页面可查看组件的基本信息、概要信息、进程部署拓扑详情、组件部署配置详情及配置修改历史等。不同组件的组件详情页面不同，本章节仅做通用功能的示例说明，详情请以实际页面为准。

1. 在集群管理的左侧导航树中选择[组件管理]，进入组件管理页面。

2. 在组件管理页面，通过在组件列表中选择某组件可直接查看对应的组件详情页面。

3. 组件详情页面主要展示基本信息、概要、部署拓扑、配置详情和配置修改历史等相关信息，同时可对组件或进程执行相关管理操作，可查看或修改组件的各配置项信息，也可查看组件的配置修改历史及当前使用配置版本。

主要功能如下：

• 选择集群：在组件详情页面右上角选择集群的下拉框中可选择目标集群，查看指定集群中的组件信息及组件详情。

• 基本信息：展示组件的基本配置信息，比如：进程部署的个数、启动状态等，以便于快速了解组件。

• 概要：展示组件概览及相关指标项的信息。可自定义进行指标定制，或设置指标信息展示的时间范围和刷新间隔。

• 部署拓扑

在[组件详情/部署拓扑]页签，通过选择组件名、进程名、主机名、主机IP或机架后，输入搜索内容，单击图标可模糊搜索目标进程。

部分参数说明如下：

• 进程名：同一个进程可分别安装在多个主机节点上，所以进程列表中某一进程名可能重复出现，但同一进程名对应的主机名和主机IP不同。

• 进程状态：进程当前的运行状态。

• 组件名：进程所属于哪一个组件，对应的组件名称。

• 主机名：进程部署在哪一个主机上，对应的主机名称。单击主机名可跳转至对应的主机详情页面。

• 主机IP：进程部署在哪一个主机上，对应的主机IP。单击主机IP可跳转至对应的主机详情页面。

• 机架：部署该进程的主机所属于哪一个机架，对应的机架名称。

• 操作：进程在当前状态下，可执行的操作类型。不同进程可执行的操作类型不同，相同进程在不同状态下可执行的操作类型也不同，详情请以实际页面为准。

• 配置

在[组件详情/配置]页签，可查看或修改组件各配置项的信息（对于用户类型、Kerberos类型等存在高危的配置参数，已默认置灰不允许修改）。

【注意】1.组件执行修改配置操作之后，需要手动重启相关受影响的组件以使配置生效，但是重启操作可能会导致业务中断；2.若组件配置修改不当时，可能会造成该组件无法启动，影响该组件关联的业务运行。

• 版本：在版本下拉列表中，选择不同版本号可查看对应版本的组件配置详情。不同版本之间可进行版本比较，通过列表对比的形式直接查看组件配置差异。

• 配置组：在配置组下拉列表中，选择不同配置组可查看或修改对应配置组的组件配置详情。单击<管理配置组>，弹出管理配置组窗口，根据需要可添加、编辑或删除配置组。关于配置组管理，详情请参见管理配置组。

• 基础配置：以图形化方式展示组件的基础、常用配置，方便用户查看与修改。在大数据集群中，仅部分组件有基础配置，详情请以实际页面为准。

• 高级配置：组件安装时的所有初始配置项集合。系统缺省显示各组件配置项的缺省值，可直接在线查看或编辑各配置项的值，若进行修改则会提示“保存”或“放弃修改”。

• 自定义配置：根据实际需要，用户可扩展组件的配置项。展开对应的配置文件，单击<添加属性>按钮，会弹出添加属性窗口，在窗口中输入Key（参数名）和Value（参数值）即可在该配置文件中添加自定义配置项。

• 配置修改历史

在[组件详情/配置修改历史]页签，可查询组件的配置历史版本以及当前使用版本。

• 版本号：组件配置每做一次变更修改，版本号加1。单击版本号可跳转至[配置]页签，此时可查看该版本号对应的详细配置信息，历史版本的配置信息仅支持查看，当前版本的配置信息同时支持查看和编辑。

• 用户：执行组件配置修改的用户名称。

• 版本说明信息：组件配置修改时的描述性说明，为方便后续查阅各版本的配置变更，建议添加版本说明信息。

管理配置组

·          对于同一个组件，每个主机仅能归属于一个组件配置组。 ·          大数据集群中安装的每一个组件，系统初始会把该组件对应的所有主机分配到默认的Default配置组中。 ·          大数据组件在使用时，某些组件配置项的值只能在Default配置组进行修改，然后再同步至正在使用的其他配置组中，详情请以实际界面为准。

 

通过对某组件进行配置组管理，可设置各配置组对应的主机成员以及各配置组对应的各配置项的值，从而实现在各主机上应用不同组件配置的目的。属于同一个组件配置组的主机对该组件拥有相同的配置。根据实际需要，可执行管理配置组操作。

1. 在集群管理的左侧导航树中选择[组件管理]，进入组件管理页面。

2. 在组件管理页面，通过在组件列表中选择某组件可直接查看对应的组件详情页面。

3. 在[组件详情/配置]页签，可查看或修改组件配置组对应的各配置的值或配置组对应的主机。

4. 单击<管理配置组>按钮，弹出管理配置组窗口。其中：

• 添加配置组：在配置组列表中，单击图标，弹出添加配置组窗口，输入配置组名称、描述即可完成添加。

• 编辑配置组：在配置组列表中选择某配置组后，单击图标，弹出修改配置组窗口，可修改该配置组名称或描述。

• 删除配置组：在配置组列表中选择某配置组后，单击图标并在弹窗中进行确认后即可删除该配置组。

• 添加主机：在配置组列表中选择某配置组后，然后在对应的主机列表中单击图标，弹出增加配置组主机窗口，可为该配置组选择要添加的主机。

• 删除主机：在配置组列表中选择某配置组后，然后在对应的主机列表中选择某主机后，单击图标并在弹窗中进行确认后即可删除该主机。

组件快速链接

·          在大数据集群中，仅部分组件支持快速链接功能，详情请以实际页面为准。 ·          不同组件支持的快速链接数量和类别不同，详情请以实际页面为准。 ·          对于不同组件的不同快速链接类别，访问方式可能不同。关于各组件的访问方式和快速链接的使用说明，详情请参见对应的组件手册。

 

集群在使用过程中，根据实际需要，可执行访问组件快速链接的操作。

1. 在集群管理的左侧导航树中选择[组件管理]，进入组件管理页面。

2. 在组件管理页面，通过在组件列表中选择某组件可直接查看对应的组件详情页面。

3. 在组件详情页面右上角快速链接的下拉框中选择待访问链接，可跳转至组件对应的URL页面查看更多信息。

查看组件操作记录

·          下载组件Client的操作信息，在组件操作记录中不显示。 ·          在非Kerberos集群中删除组件的操作信息，在组件操作记录中不显示；在Kerberos集群中删除组件的操作信息，在组件操作记录中会显示。

 

操作记录页面显示组件的相关操作及其详情，单击操作类型可查看该操作对应的子任务列表和任务日志。

1. 在集群管理的左侧导航树中选择[组件管理]，进入组件管理页面。

2. 在组件管理页面，通过在组件列表中选择某组件可直接查看对应的组件详情页面。

3. 单击组件详情页面右上角的<操作记录>按钮，弹出操作记录窗口。在操作记录窗口中可查看组件对应的所有操作列表，操作列表信息支持根据任务状态进行筛选，且对于“运行中”的操作记录可以单击<终止>按钮终止该操作。

• 操作类型：单击操作类型可跳转至操作详情页面。

• 在操作详情页面，主机名展示任务在哪一台主机上执行，对应的主机名称。

• 在操作详情页面，单击任务操作名称将弹出任务日志窗口，可查看操作类型和详细的运行日志信息。

• 任务状态：显示操作执行的结果。

• 更多：单击<更多>按钮，可查看更多操作记录。

启动组件

集群在使用过程中，根据实际需要，可执行启动组件的操作。

1. 在集群管理的左侧导航树中选择[组件管理]，进入组件管理页面。

2. 在组件管理页面，通过在组件列表中选择某组件可直接查看对应的组件详情页面。

3. 在组件详情页面右上角组件操作的下拉框中选择<开启>按钮并在弹窗中进行确定后，即可启动该组件。

停止组件

·          执行停止组件操作之后，将中止该组件及与其有依赖关系的其他组件上的业务访问。若该组件上有任务正在运行，业务将中断。 ·          执行停止组件操作，若集群中有业务正在进行读写操作，则可能产生坏文件或者数据丢失。

 

集群在使用过程中，根据实际需要，可执行停止组件的操作。

1. 在集群管理的左侧导航树中选择[组件管理]，进入组件管理页面。

2. 在组件管理页面，通过在组件列表中选择某组件可直接查看对应的组件详情页面。

3. 在组件详情页面右上角组件操作的下拉框中选择<停止>按钮并在弹窗中进行确定后，即可停止该组件。

重启组件

·          在大数据集群中，仅部分组件支持重启操作，详情请以实际页面为准。 ·          当组件进行配置修改后，可通过重启操作使配置修改立即生效。 ·          执行重启组件操作，若集群中有业务正在进行读写操作，则可能产生坏文件或者数据丢失。 ·          执行重启组件操作的过程中，会中止该组件及与其有依赖关系的其他组件上的业务访问。若该组件上有任务正在运行，业务将短暂中断。

 

集群在使用过程中，根据实际需要，可执行重启组件的操作。

1. 在集群管理的左侧导航树中选择[组件管理]，进入组件管理页面。

2. 在组件管理页面，通过在组件列表中选择某组件可直接查看对应的组件详情页面。

3. 在组件详情页面右上角组件操作的下拉框中选择<重启>按钮并在弹窗中进行确定后，即可重启该组件。

组件检查

·          在大数据集群中，仅部分组件支持组件检查操作，详情请以实际页面为准。 ·          执行组件检查操作时，不同组件对应的检查项不同，详情请参见对应的组件手册。

 

集群在使用过程中，根据实际需要，可对某组件执行组件检查的操作。

1. 在集群管理的左侧导航树中选择[组件管理]，进入组件管理页面。

2. 在组件管理页面，通过在组件列表中选择某组件可直接查看对应的组件详情页面。

3. 在组件详情页面右上角组件操作的下拉框中选择<组件检查>按钮并在弹窗中进行确定后，即可对该组件进行检查。

刷新队列

·          在大数据集群中，仅YRAN支持刷新队列操作。 ·          当前版本中，独立集群和租户集群中YARN的调度器缺省均为公平调度，其中独立集群的调度器可根据实际使用需求更改，租户集群的调度器不建议更改。 ·          若在YARN中新增或修改了一个队列，执行刷新队列操作可使该队列立即生效，而不用重启整个YARN。

 

集群在使用过程中，根据实际需要，可对YARN执行刷新队列的操作。

1. 在集群管理的左侧导航树中选择[组件管理]，进入组件管理页面。

2. 在组件管理页面，通过在组件列表中选择YARN组件可直接查看对应的组件详情页面。

3. 在组件详情页面右上角组件操作的下拉框中选择<刷新队列>按钮并在弹窗中进行确定后，即可对YARN队列进行即时刷新。

数据均衡

·          在大数据集群中，仅HDFS支持数据均衡操作。数据均衡指在HDFS的DataNode节点之间进行数据均衡，此时需要跨数据节点进行数据迁移，且该操作仅支持在同一个机架上DataNode节点之间进行数据均衡。 ·          数据均衡在执行过程中会消耗集群资源，影响集群的性能，建议在集群中无业务运行时执行此操作。 ·          在数据量较大的情况下，数据均衡操作需要较长的时间才能执行完成，会对集群性能造成影响。 ·          数据均衡操作的运行时间取决于集群大小和数据的不平衡程度。

 

集群在使用过程中，存储的数据可能会出现分布不均衡的现象，根据实际需要（比如集群执行节点扩/缩容后），可对HDFS执行数据均衡的操作。

1. 在集群管理的左侧导航树中选择[组件管理]，进入组件管理页面。

2. 在组件管理页面，通过在组件列表中选择HDFS组件可直接查看对应的组件详情页面。

3. 在组件详情页面右上角组件操作的下拉框中选择<数据均衡>按钮，弹出数据均衡窗口。

参数说明如下：

• 均衡阈值：指每个DataNode节点上的磁盘容量使用率与HDFS集群中各个DataNode节点上的磁盘容量使用率的平均值之间的差值，此差值即为数据均衡后允许的阈值范围。

4. 均衡阈值配置完成后，单击<确定>按钮即可对HDFS数据执行均衡操作。

5. HDFS组件执行数据均衡操作之后，在[集群管理/资源管理/主机监控]页面的主机列表页签可以查看集群中各个主机当前阶段的磁盘使用率。

磁盘均衡

·          在大数据集群中，仅HDFS支持磁盘均衡操作。磁盘均衡指在HDFS内各个DataNode节点上的不同磁盘之间进行数据均衡，此时不需要跨数据节点，仅需要在同一个DataNode节点上的不同磁盘之间进行数据迁移。 ·          磁盘均衡为异步操作命令。磁盘均衡的命令下发给HDFS组件后，由HDFS自行判断该节点各磁盘中的数据是否需要均衡。只有当各磁盘间数据发生倾斜时才会真正执行磁盘数据均衡的操作，若磁盘数据状态是均衡的则不会再执行磁盘数据均衡的操作。 ·          磁盘均衡在执行过程中会消耗集群资源（比如：磁盘IO、网络带宽），影响集群的性能，建议在集群中无业务运行时执行此操作。 ·          在数据量较大的情况下，磁盘均衡操作需要较长的时间才能执行完成，且需要长时间读写磁盘，会对集群性能造成影响。

 

集群在使用过程中，根据实际需要（比如节点执行磁盘扩/缩容后），可对HDFS执行磁盘均衡的操作。

1. 在集群管理的左侧导航树中选择[组件管理]，进入组件管理页面。

2. 在组件管理页面，通过在组件列表中选择HDFS组件可直接查看对应的组件详情页面。

3. 在组件详情页面，在部署拓扑页签的进程列表中单击某进程对应的<磁盘均衡>按钮，弹出磁盘均衡窗口。

参数说明如下：

• 均衡容忍百分比：DataNode节点上的各个磁盘之间计划迁移的数据量目标值与实际迁移的数据量之间的差值除以计划迁移的数据量得到的百分比。

【说明】此参数是磁盘均衡成功的判断条件。比如：若指定均衡容忍百分比为10%，计划移动的数据量大小为20GB，当时实际移动的数据量为18GB时即会认为此次磁盘均衡操作是成功的。

• 最大带宽：执行磁盘均衡操作时允许占用的最大带宽，最大带宽的设置会影响磁盘间数据均衡的速率，单位MB/s。

4. 均衡容忍百分比和最大带宽配置完成后，单击<确定>按钮即可对HDFS的该DataNode节点执行磁盘均衡操作。

【说明】

• 磁盘均衡为异步操作，即单击<确定>按钮之后，磁盘均衡命令会被下发给HDFS组件，但HDFS组件会自行判断是否需要真正去执行磁盘均衡的操作。

• 单击<确定>按钮之后，查看集群操作记录，在操作记录窗口中查看到的磁盘均衡进度仅表示下发磁盘均衡命令的进度，并不代表该DataNode节点执行磁盘均衡的进度。

5. HDFS组件执行磁盘均衡操作之后，在[集群管理/资源管理/磁盘监控]页面的磁盘列表页签可以查看各主机上各个磁盘当前阶段的使用率。

管理插件信息

·          当前版本，在大数据集群中，仅Elasticsearch支持插件信息的管理。 ·          在大数据集群中安装Elasticsearch时，系统默认会安装一些插件。根据使用需要，用户也可自定义添加一些新插件。 ·          对Elasticsearch执行添加新插件操作时，若准备的插件文件不符合系统要求，则可能会导致插件添加失败，同时还可能导致Elasticsearch组件异常，请谨慎操作。 ·          对Elasticsearch执行插件的新增或删除操作，必须对Elasticsearch执行重启操作之后才可以生效。

 

集群在使用过程中，根据实际需要，可对Elasticsearch执行插件的新增或删除操作。

1. 在集群管理的左侧导航树中选择[组件管理]，进入组件管理页面。

2. 在组件管理页面，通过在组件列表中选择Elasticsearch可直接查看对应的组件详情页面。

3. 在组件详情页面的[插件信息]页签，可查看Elasticsearch当前已安装的所有插件以及插件的详细信息。此时可对插件执行以下操作：

• 查看插件详情：可查看插件名、插件版本以及是否为系统默认安装的插件，对于系统默认安装的插件不可执行删除操作。

• 添加新插件：根据使用需要，用户可自行上传新插件。若新插件添加失败，则页面会出现对应的错误提示信息；若新插件添加成功则表示安装成功。

• 删除插件：对于非系统默认安装的插件，根据使用需要，用户可执行删除操作。

DLH元数据管理

·          当前版本，在大数据集群中，仅DLH支持元数据管理。 ·          关于DLH元数据管理页面的功能介绍和操作指导，详情请参见DLH元数据管理。

 

集群在使用过程中，根据实际需要，可执行访问DLH元数据管理页面的操作。

1. 在集群管理的左侧导航树中选择[组件管理]，进入组件管理页面。

2. 在组件管理页面，通过在组件列表中选择DLH可直接查看对应的组件详情页面。

3. 单击组件详情页面右上角的<元数据管理>按钮，可跳转至DLH对应的元数据管理页面。

删除组件

·          在生产环境中，删除组件为高危操作，且不可回退或暂停，请谨慎操作。执行删除组件操作会删除该组件的所有业务，造成不可逆的业务中断。 ·          处于“已启动”状态下的组件，需要先停止组件后再执行删除组件操作，删除组件后数据不会清理。 ·          在大数据集群中，系统组件为创建集群时缺省安装的组件，不支持单独执行删除操作。 ·          在大数据集群中，对于业务组件，仅部分组件支持删除操作，详情请以实际页面为准。 ·          开启Kerberos的环境中执行删除组件操作，页面提示删除成功时可能仍有部分进程的删除操作未完成，所以请等待一段时间后再执行重新安装该组件的操作。 ·          删除组件操作没有组件拓扑限制，可以关闭组件直接删除；部署拓扑页签下<删除>按钮用于删除组件进程，有组件拓扑限制。 ·          租户集群中删除组件时，需确认该组件的租户资源是否还在使用，如果正在使用，请勿删除。

 

集群在使用过程中，根据实际需要，可执行删除组件的操作。

1. 在集群管理的左侧导航树中选择[组件管理]，进入组件管理页面。

2. 在组件管理页面，通过在组件列表中选择某组件可直接查看对应的组件详情页面。

3. 在组件详情页面右上角组件操作的下拉框中选择<删除>按钮，然后按照弹窗中的提示进行相关操作后，即可删除该组件。