· 纠删码：通过算法将原始数据进行编码得到冗余，并将数据和冗余一起存储，以达到容错的目的。例如，将n块原始数据通过一定计算得到m块冗余元素（校验块）；对于这n+m块的元素，当其中任意的m块元素出错（包括原始数据块和校验块）时，均可以通过对应的重构算法恢复出原来的n块数据。生成校验的过程称为编码，恢复丢失数据块的过程称为解码。

纠删码相比副本而言，具有较高的磁盘利用率，但数据恢复和更新的代价更高。硬盘故障需要重建数据以及数据更新需要将原始数据重新编码时消耗的CPU资源和网络负载较高，数据恢复所需时间长。因此纠删码常用于只读数据或冷数据，比如虚拟化环境中的虚拟机备份文件、虚拟机模板等。

4. 业务主机、业务主机组

业务主机即实现具体业务的主机；业务主机组则是一组实现相同业务的主机的集合，用于统一管理相同业务的主机。主机要使用集群的分布式存储资源，需要先加入到业务主机组中，建立业务主机组与块设备的映射关系。

5. iSCSI高可用

业务主机通过iSCSI方式访问存储集群中的块存储资源。iSCSI高可用为存储外网设置一个高可用IP，保障存储业务的连续性。业务主机访问iSCSI高可用IP即可持续发现存储集群中的块设备，不受存储节点故障的影响。

6. 块设备

块设备是指在存储集群中创建的逻辑存储卷（LUN），支持iSCSI的访问方式。块设备上没有文件系统，就像一块全新未被格式化的硬盘一样。

块设备可以直接映射给虚拟机使用，虚拟机的操作系统会将块设备识别为一块物理硬盘。操作系统对挂载的块设备进行分区、格式化后，才能正常使用块设备提供的存储空间。

块设备也可以格式化为共享文件系统，为虚拟化主机提供共享存储服务。

7. 共享存储池

共享存储池是指可以被集群内的主机同时挂载的存储池。集群的HA、DRS、DPM等涉及到虚拟机在线自动迁移的功能都依赖于共享存储池。使用共享存储池的虚拟机可以保证虚拟机在迁移过程中只涉及计算资源的迁移，不涉及存储资源的迁移，节省了迁移所需时间。

1.2 使用限制

· 部署超融合架构的服务器数量最2台；建议集群的规模不超过32台。

· 服务器数量为N时，系统可设置的副本数为：

¡ 当2≤N≤6时，副本个数为2～N-1；

¡ 当N>6时，副本个数为2～5。

· 服务器数量为N（N≥3）时，纠删码可设置的数据块、校验块个数如下表所示：

表1 服务器数量与纠删码数据块、校验块的关系

校验块个数服务器数量	1	2	3	4
3	2+1（66%）	－	－	－
4	2+1（66%）	－	－	－
5	3+1（75%）	－	－	－
6	4+1（80%）	－	－	－
7	4+1（80%）	4+2（66%）	－	－
8	6+1（85%）	4+2（66%）	4+3（57%）	－
9	6+1（85%）	6+2（75%）	4+3（57%）	－
10	8+1（88%）	6+2（75%）	6+3（66%）	－
11	8+1（88%）	8+2（80%）	6+3（66%）	6+4（60%）
12	8+1（88%）	8+2（80%）	8+3（72%）	6+4（60%）
13	8+1（88%）	8+2（80%）	8+3（72%）	8+4（66%）
14	12+1（92%）	8+2（80%）	8+3（72%）	8+4（66%）
15	12+1（92%）	12+2（85%）	8+3（72%）	8+4（66%）
16	12+1（92%）	12+2（85%）	12+3（80%）	8+4（66%）
17	12+1（92%）	12+2（85%）	12+3（80%）	12+4（75%）
18	16+1（94%）	12+2（85%）	12+3（80%）	12+4（75%）
19	16+1（94%）	16+2（88%）	12+3（80%）	12+4（75%）
20	16+1（94%）	16+2（88%）	16+3（84%）	12+4（75%）
21~32	16+1（94%）	16+2（88%）	16+3（84%）	16+4（80%）

· 分布式存储系统中正常工作的数据盘数量发生变化时（包括主机故障、磁盘故障、新增主机、新增磁盘），系统会自动进行数据的再均衡。当数据不均衡时，不能执行删除主机、删除正在使用的数据盘等操作。

2 分布式存储配置指导

2.1 配置前提

本文档中的配置均是在实验室环境下进行的配置和验证，配置前服务器和软件的所有参数均采用出厂时的缺省配置。如果您已经对被测试对象进行了配置，为了保证配置效果，请确认现有配置和以下举例中的配置不冲突。

2.2 配置环境

2.2.1 服务器

本文档不严格与具体硬件服务器型号对应，如果使用过程中与产品实际情况有差异，请以设备实际情况为准。

2.2.2 软件

表2 软件配置表

软件	版本
H3C UIS 6.5	E0712

2.3 配置步骤

2.3.1 分布式存储配置

1. 增加硬盘池

(1) 登录UIS超融合管理平台，选择顶部“存储”页签。单击左侧导航树[硬盘池管理]菜单项，进入硬盘池列表页面。

图1 硬盘池列表页面

(2) 单击<增加>按钮，弹出增加硬盘池对话框。

图2 增加硬盘池对话框

(3) 输入硬盘池名称，选择硬盘池的配置方式、部署方式等，单击<确定>按钮。

表3 增加硬盘池参数说明表

参数名称	参数说明
配置方式	硬盘池的配置方式决定了在使用该硬盘池的数据池中创建的块设备占用存储空间的分配方式以及容量是否能够超配。 · 厚配置：在此类型硬盘池中，创建块设备时就为该块设备分配最大容量的存储空间。在使用该类型硬盘池的数据池中创建块设备时，设置的容量不能超过数据池的可用容量。 · 精简配置：此类型硬盘池中，块设备占用存储空间的容量是按需分配的。在使用该类型硬盘池的数据池中创建块设备时，设置的容量可以超过数据池的可用容量。
部署方式	硬盘池的部署方式，包括闪存加速、全SSD和全HDD。 · 闪存加速：数据盘只能选择HDD盘，读/写缓存加速盘只能选择SSD盘。 · 全SSD：数据盘选择SSD盘，无读/写缓存加速盘，提供高性能的存储服务。 · 全HDD：数据盘选择HDD盘，无读/写缓存加速盘，提供普通存储服务。
缓存分区大小	只有当部署方式为闪存加速时才会出现此选项。使用闪存加速作为部署方式时会使用HDD盘作为数据盘，SSD盘作为缓存盘。系统会根据数据盘的个数对SSD盘进行分区，一个数据盘对应一个缓存分区，默认缓存分区大小为50G。当实际业务数据量比较大时，可以将此值适当调大。

(4) 单击硬盘池列表操作列的图标，弹出选择磁盘对话框，选择要加入此硬盘池的主机磁盘。

图3 选择磁盘对话框

一个硬盘池中至少要包含两台不同主机上的数据盘。

(5) 磁盘选择完成后，单击<下一步>按钮，对硬盘池中的数据盘进行确认，确认无误后，单击<完成>按钮完成操作。

图4 选择磁盘－确认

2. 增加数据池

(1) 单击左侧导航树[数据池管理]菜单项，进入数据池列表页面。

图5 数据池列表页面

(2) 单击<增加>按钮，弹出增加数据池对话框。

图6 增加数据池对话框

(3) 输入数据池名称，选择所用硬盘池和冗余策略。若冗余策略类型选择为“副本”，则需要选择副本个数；若策略类型选择为“纠删码”，则需输入数据块个数、校验块个数和条带大小。单击<确定>按钮完成操作。

表4 增加数据池参数说明表

参数名称	参数说明
所用硬盘池	选择数据池所在的硬盘池。
冗余策略	数据池的冗余策略，包括副本和纠删码。 · 副本：将数据存储为多个副本，副本个数越多，数据安全性越高。 · 纠删码：将数据分割成片段，对数据块扩展和编码，并将其存储在不同的位置，例如磁盘、存储节点或者其它物理位置。当冗余策略为纠删码时，需要设置数据块个数、校验块个数及条带大小。
副本个数	数据备份的副本的个数，使用N副本的可用容量是裸容量的N分之一。对于关键业务和可靠性要求高的场景，两副本冗余性不足，建议采用三副本及以上方式进行部署。
数据块个数	存储数据分割后的个数，一个数据块存储在一个存储节点的一块磁盘上。数据块个数越多，可靠性越高。冗余策略为纠删码时，需设置此参数。
校验块个数	校验数据分割后的个数，一个校验块存储在一个存储节点的一块磁盘上，校验块与数据块需存储在不同的存储节点上。校验块个数越多，可靠性越高，但所需存储空间越大。冗余策略为纠删码时，需设置此参数。
条带大小	纠删码中用于编码/解码的数据块大小。操作员可根据使用场景选择条带大小，小条带适用于小块随机读写；大条带适用于大块顺序读写。普通虚拟机建议选择较大的条带，数据库应用建议选择较小的条带。冗余策略为纠删码时，需设置此参数。

3. 增加业务主机

此步骤只针对集群外主机使用本集群存储资源。对于集群内的UIS主机，系统在初始化完成后已将其自动添加为业务主机，管理员无需再手工增加，可以跳过此步骤。

(1) 单击左侧导航树[映射管理]菜单项，进入业务主机组列表页面。单击“业务主机”页签，进入业务主机列表页面。

图7 业务主机列表页面

(2) 单击<增加>按钮，弹出增加业务主机组对话框。

图8 增加业务主机对话框

(3) 输入要添加的业务主机的名称，选择操作系统，输入主机的IP地址、标识符和描述，单击<确定>按钮。相关参数说明见下表。

表5 增加业务主机参数说明表

参数	说明
IP地址	业务主机与UIS集群存储外网网段连通的IP地址。
标识符	业务主机的iqn标识符信息。业务主机通过此iqn标识符建立与块设备的连接。

4. 增加业务主机组

对于集群外主机，增加为业务主机之后，还需将业务主机加入业务主机组。

对于UIS集群内的业务主机，系统在初始化完成后已为其默认创建了一个业务主机组uistorHostGroup。该业务主机组不允许删除。若用户需要为其创建新的业务主机组，需要先将主机从uistorHostGroup中移除，然后再创建。

(1) 单击左侧导航树[映射管理]菜单项，进入业务主机组列表页面。

图9 业务主机组列表页面

(2) 单击<增加>按钮，弹出增加业务主机组对话框。

图10 创建业务主机组对话框

(3) 输入主机组名称和描述，单击<确定>按钮。

(4) 选中新创建的业务主机组，单击下方<添加>按钮，弹出添加业务主机对话框。

图11 为业务主机组添加业务主机

(5) 勾选要添加的业务主机，也可以单击<增加>按钮添加新的集群外主机。单击<确定>按钮。

图12 添加业务主机对话框

(6) 此时即可看到业务主机组中添加的主机。

5. 增加iSCSI高可用

(1) 单击左侧导航树[映射管理]菜单项，进入业务主机组列表页面。单击“iSCSI高可用”页签，进入iSCSI高可用列表页面。

图13 iSCSI高可用列表页面

(2) 单击<增加>按钮，弹出增加iSCSI高可用对话框。

图14 增加iSCSI高可用对话框

(3) 输入iSCSI高可用IP，选择高可用组ID、主节点IP和备节点IP，单击<确定>按钮。相关参数说明见下表。

表6 增加iSCSI高可用参数说明表

参数	说明
高可用IP	用户通过iSCSI访问存储集群块设备的IP地址，此IP必须是存储外网网段内的IP。
高可用组ID	iSCSI高可用IP的编组ID号，该ID号会下发至同组内所有主备节点，只有拥有相同高可用组ID号的节点之间才能进行相应高可用IP的故障切换。
主节点IP	提供iSCSI接入点的节点的存储外网IP。
备节点IP	当主节点故障时，提供iSCSI接入点的节点的存储外网IP。

(4) 等待添加成功，即可在iSCSI高可用列表看到新添加的iSCSI高可用。

6. 创建块设备

(1) 单击左侧导航树[块设备管理]菜单项，进入块设备列表页面。

图15 块设备列表页面

(2) 单击<增加>按钮，弹出增加块设备对话框。

图16 增加块设备对话框

(3) 设置好相关参数，关于参数的详细介绍，请参见表7，单击<确定>按钮完成操作。

表7 增加块设备参数说明表

参数	说明
所用数据池	块设备中存储数据的备份方式依据所选数据池而定。
业务主机组	建立块设备与业务主机组的映射关系，只有属于该业务主机组内的业务主机才能发现此块设备，使用其对应的存储资源。
可用容量	创建块设备时，数据池实际可用容量。
容量	设置块设备的容量。 · 当块设备所用硬盘池采用精简配置时，块设备占用存储空间的容量是按需分配的。创建块设备时，此处设置的容量可以超过数据池的可用容量； · 当块设备所用硬盘池采用厚配置时，创建块设备时就为该块设备分配最大容量的存储空间。此处设置的容量不能超过数据池的可用容量。

· 对于集群内主机，创建块设备之后，可以直接在块设备列表界面将块设备挂载为共享文件系统给主机使用（步骤请参见块设备挂载为共享文件系统），也可以通过附录共享存储池配置中的步骤将块设备挂载为共享文件系统给主机使用。

· 对于集群外主机，创建块设备之后，需要在目标主机上进行相应配置才能发现和使用块设备。

7. 块设备挂载为共享文件系统

块设备可以直接挂载为共享文件系统供集群内主机使用，步骤如下。

(1) 单击左侧导航树[块设备管理]菜单项，进入块设备列表页面。

图17 块设备列表页面

(2) 单击新建块设备的图标，弹出对话框。如果允许自动部署虚拟机，则业务存储选择“是”，否则选“否”。然后单击<查询可用主机按钮>。

图18 挂载为共享系统对话框

(3) 勾选要使用此共享文件系统的主机，单击<确定>按钮，弹出操作确认框。

图19 操作确认框

(4) 单击<确定>按钮，在弹出的格式化共享文件系统对话框中单击<确定>按钮，完成操作。

图20 格式化共享文件系统

2.3.2 创建虚拟机

(1) 选择顶部“虚拟机”页签。进入虚拟机管理页面

图21 虚拟机管理页面

(2) 单击<增加>按钮，弹出增加虚拟机对话框，设置相关参数。

未选择主机时，系统将在集群中资源最优（即虚拟机数量最少，内存利用率最低，CPU利用率最低）的主机上创建虚拟机。

图22 增加虚拟机对话框－基本配置

(3) 单击<下一步>按钮，在高级配置页面中单击<磁盘>选项，显示虚拟机磁盘的高级配置项。

图23 增加虚拟机对话框－高级配置

(4) 虚拟机磁盘类型选择新建文件，单击存储池对应的选项框，弹出选择存储池对话框。

图24 选择存储池对话框

(5) 选择目标存储池，单击<确定>按钮，返回到增加虚拟机页面，设置其他参数，单击<完成>按钮完成虚拟机的增加操作。

3 存储集群扩容配置指导

当存储集群的剩余可用容量不足时，可以通过增加新主机或系统中已有主机增加磁盘的方式为存储集群扩容。当有新磁盘加入系统时，系统会自动进行数据再均衡，将数据均衡的分布在各存储节点的数据磁盘上。

在存储集群扩容前，管理员需要规划好待增加主机的CPU个数，确保UIS License、CAS License、分布式存储License剩余可管理的CPU个数满足要求。若现有License不满足要求，需要先申请足够的License，再进行扩容。

3.1 注意事项

以增加主机的方式进行存储集群扩容时，待增加的主机需满足以下要求：

· 已安装的UIS软件版本必须与UIS超融合管理平台的软件版本一致。

· 管理网、业务网、存储内网和存储外网各网络规划的网卡物理接口数量、复用关系需要与UIS初始化部署时各网络的规划一致。

3.2 增加主机

(1) 选择顶部“主机”页签，进入主机管理信息页面。单击<主机发现>按钮，进入主机发现信息页面。单击图标，扫描主机。

图25 主机发现信息页面

(2) 在扫描出来的主机列表中勾选目标主机，单击操作列图标，弹出自定义配置对话框。

图26 自定义配置对话框

表8 增加主机参数说明表

参数名称	参数说明
网卡配置模板	该功能用于批量添加主机的场景。开启该功能后，当前主机的网络配置将作为模板，自动下发到其他待加入的主机上，从而达到快速配置各主机网络参数的目的。要使用此功能，须保证其他待加入集群的主机与此模板主机有相同名称且处于活动状态的物理接口，且各物理接口速率应满足对应网络的最低配置要求。例如，开启网卡配置模板功能的主机A的配置为管理网eth0，业务网eth1，存储内外网复用eth2、eth3，则其他待加入集群的主机上也必须存在eth0，eth1，eth2，eth3四个活动状态的物理接口，且eth0、eth1的速率需大于等于1000Mbps，eth2、eth3的速率需大于等于10000Mbps。对于不满足条件的主机，需要手工指定各网络使用的物理接口。
IP地址	主机各网络的IP地址若不单独指定，则采取自动分配原则，在各网络设置的起始IP的基础上依次加1。管理网起始IP分配给管理节点。主机的业务网无需配置IP地址。
物理接口	主机管理网、存储内网、存储外网所使用的物理接口必须配置。业务网所使用的物理接口选配。若未配置业务网的物理接口，则在初始化完成后，主机上不会自动创建业务网络类型的虚拟交换机，需手工在UIS超融合管理平台中添加。

配置主机管理网、业务网、存储内网和存储外网使用的物理接口时，若当前配置的主机各网络物理接口的复用关系与已配置的主机不一致，则会导致其他已配置主机的配置失效，需重新进行配置。

例如：对于已配置的主机A，其管理网和业务网分别单独使用eth0和eth1，存储内网和存储外网复用eth2、eth3。当配置主机B时，管理网和业务网复用eth0，存储内外网复用eth1、eth2。与主机A相比，主机B的存储内外网仍复用两个物理接口，但管理网与业务网复用了同一个物理接口，复用关系发生了变化。配置完主机B后，主机A的配置将失效，需重新配置。

(3) 在如图26所示页面中单击图标，弹出选择物理接口对话框，依次配置主机管理网、业务网、存储内网和存储外网使用的物理接口。

图27 选择物理接口对话框

表9 主要参数说明

参数名称	参数说明
链路聚合模式	物理接口之间的链路聚合方式，包括静态链路聚合和动态链路聚合，默认为静态链路聚合。当此参数设置为“动态链路聚合”时，物理交换机侧需要开启LACP（链路汇聚控制协议）。选择多个物理接口时，才显示此参数。
负载分担模式	物理接口之间的负载分担模式，包括高级负载分担、基本负载分担和主备负载分担。选择多个物理接口时，才显示此参数。 · 高级负载分担：根据转发报文的以太网类型、IP报文协议、源IP地址、目的IP地址、源端口和目的端口进行负载分担。推荐使用高级负载分担。 · 基本负载分担：根据转发报文的源MAC地址和VLAN Tag进行负载分担。 · 主备负载分担：根据物理接口主备进行负载分担。主接口出现故障时，自动使用备接口进行网络流量的处理。当链路聚合模式为“静态链路聚合”时，此参数才可选。
物理接口	主机管理网、存储内网、存储外网所使用的物理接口必须配置。业务网所使用的物理接口选配。若未配置业务网的物理接口，则在初始化完成后，主机上不会自动创建业务网络类型的虚拟交换机，需手工在UIS超融合管理平台中添加。

(4) 配置完成后单击<确定>按钮返回主机发现信息页面，单击<添加到集群>按钮，弹出主机配置确认对话框。

图28 主机配置确认对话框

(5) 确认主机的相关配置，确认完成后，单击<确定>按钮，弹出配置主机对话框。

图29 配置主机对话框

(6) 待主机配置完成后，自动弹出选择磁盘对话框。将主机上的磁盘加入指定的硬盘池。

图30 选择磁盘对话框

(7) 单击<下一步>按钮进入选择磁盘－主机页签，单击图标，修改主机的角色，并确认主机加入硬盘池的数据盘和缓存盘。

图31 选择磁盘－主机页签

(8) 选择“硬盘池”页签，查看不同硬盘池中，各个主机的数据盘和缓存盘信息。

图32 选择磁盘－硬盘池页签

(9) 确认无误后，单击<完成>按钮完成操作。

3.3 已有主机增加磁盘

当主机上有新增磁盘时，系统会自动扫描发现新增的磁盘，此时需要操作员在UIS超融合管理平台中手工将磁盘加入到存储集群中。

因硬盘池部署方式的不同，可增加的硬盘类型有所不同：

· 部署方式为全SSD时，只能增加SSD硬盘作为数据盘。

· 部署方式为全HDD时，只能增加HDD硬盘作为数据盘。

· 部署方式为闪存加速时，只能增加HDD硬盘作为数据盘。

(1) 选择顶部“存储”页签。单击左侧导航树[节点管理]菜单项，进入存储节点列表页面。

图33 存储节点列表页面

(2) 选择目标存储节点，在磁盘列表中选择未使用或未配置的磁盘，单击操作列图标，弹出选择硬盘池对话框。

图34 选择硬盘池对话框

(3) 选择磁盘待加入的目标硬盘池，单击<确定>按钮，弹出操作确认对话框。

图35 操作确认对话框

(4) 单击<确定>按钮完成操作。

4 附录

4.1.1 共享存储池配置

(1) 单击左侧导航树[共享存储池]菜单项，进入共享存储池列表页面。

图36 共享存储池列表页面

(2) 单击<增加>按钮，弹出增加共享存储对话框。

图37 增加共享存储-基本信息

表10 增加共享存储参数说明表

参数名称	参数说明
类型	对于系统中的分布式存储或者外置的IP SAN存储，请选择iSCSI共享文件系统；对于FC SAN存储，请选择FC共享文件系统。
目标路径	共享文件系统在主机上的挂载点。

(3) 输入共享存储的名称，显示名称，类型选择iSCSI共享文件系统，单击<下一步>按钮进入LUN信息页面。

图38 增加共享存储-LUN信息1

表11 LUN信息配置参数说明表

参数名称	参数说明
IP地址	对于系统中的分布式存储，管理节点融合部署场景，建议填写127.0.0.1或iSCSI高可用IP，管理节点分离部署场景，建议填写iSCSI高可用IP。对于外置的IP SAN存储，此处填写IP SAN存储服务器的IP地址，IP SAN存储存在多路径时，此项可输入多个IP地址，用英文分号（;）分隔。选择iSCSI共享文件系统时，需设置此参数。
LUN	选择共享文件系统所使用的LUN。选择iSCSI共享文件系统时，需设置此参数。
NAA	存储服务器上LUN的唯一标识符。当共享文件系统的类型为iSCSI时，此参数由所选择的LUN确定。当共享文件系统的类型为FC时，此处需要选择一个LUN。
业务存储	开启时表示系统自动向集群部署虚拟机时，可使用该共享文件系统，建议开启此项。