H3C G3&G5服务器存储控制卡用户指南-6W125

04-第4章 NVMe VROC Key&VROC NVMe RAID

4 NVMe VROC Key

4.1 概述

Intel® VROC（Intel®Virtual RAID on CPU），可以理解为建立在CPU上的虚拟RAID，是借助CPU实现RAID功能的上层管理方案。VROC NVMe RAID功能需要NVMe VROC Key的支撑才可以完全实现。

NVMe VROC Key在主板上有对应的连接器。接口的具体位置请参见对应产品用户指南。

NVMe VROC Key支持管理NVMe U.2 SSD及NVMe M.2 SSD，其中安装到RAID-MARVELL-SANTACRUZ-LP-2i的NVMe M.2 SSD由该卡单独管理。

4.1.1 NVMe VROC Key规格

不同型号的NVMe VROC Key的规格具体如下，如有问题请联系技术支持：

表4-1 NVMe VROC Key规格

型号	说明	Upgrade Key	支持的RAID级别
未安装NVMe VROC Key	服务器中未安装NVMe VROC Key	VROC in pass-thru mode	· Intel NVMe硬盘（型号P3608、P4608和P4618）¹：RAID 0 · 其他NVMe硬盘：不支持RAID，每个硬盘作为一个直通盘
NVMe-VROC-Key-i	NVMe VROC Key Intel版	Intel	· Intel NVMe硬盘：RAID 0/1/5/10 · 其他NVMe硬盘：不支持RAID，每个硬盘作为一个直通盘
NVMe-VROC-Key-S	NVMe VROC Key标准版	Standard	NVMe硬盘：RAID 0/1/10
NVMe-VROC-Key-P	NVMe VROC Key高级版	Premiere	NVMe硬盘：RAID 0/1/5/10
· Upgrade Key：NVMe VROC Key在BIOS配置界面中的显示条目，详细步骤请参见4.2.2 4. 查询NVMe VROC Key规格。 · ¹：型号P3608、P4608和P4618的硬盘在H3C服务器上暂未引入。 · 服务器支持的NVMe硬盘型号及其详细信息，可以通过http://www.h3c.com/cn/home/qr/default.htm?id=315查询。

4.1.2 支持的RAID级别

各NVMe VROC Key支持的RAID级别略有不同，详细信息请参见《H3C服务器存储控制卡功能和技术参数介绍》，各RAID级别对应的成员盘数量如图4-1所示。关于RAID级别的说明，请参见“附录B 磁盘阵列和容错方法”。

表4-2 RAID级别与磁盘数量的关系

RAID级别	磁盘数量	最多故障盘数
RAID 0	≥2	0
RAID 1	2	1
RAID 5	≥3	1
RAID 10	4	2

4.1.3 RAID配置注意事项

· 建议用户安装没有RAID信息的硬盘。

· 建议组建同一RAID的所有硬盘容量相同。当硬盘容量不同时，系统以最小容量的硬盘为准，即将所有硬盘容量都视为最小容量。

· 不建议将一个硬盘用在多个RAID中，该情况会使后期维护变得复杂，并影响RAID的性能。

· VMware操作系统，如需使用VROC（NVMe RAID）功能，存在特定要求。详细信息请查询http://www.h3c.com/cn/home/qr/default.htm?id=367。

4.2 UEFI启动模式下配置RAID

本节介绍在UEFI启动模式下如何配置NVMe RAID。关于进入BIOS界面和设置BIOS启动模式为UEFI的详细介绍，请参见BIOS用户指南中的对应章节。

4.2.1 初始功能配置

不同BIOS版本的界面有所差异，本手册仅以其中一种BIOS版本举例，操作界面请以实际情况为准。

1. 配置VMD状态

(1) 将服务器上电或重启后，在BIOS启动界面，根据提示按下Delete或Esc（部分产品按Delete或F2），进入图4-1所示的BIOS Setup界面。请参考界面右下角的按键操作提示，以实现在界面中导航和修改设置。

图4-1 BIOS Setup界面

(2) 如图4-2所示，选择Socket Configuration页签 > IIO Configuration，按Enter。

G5产品的Socket Configuration选项在BIOS Setup界面的Advanced页签中。

图4-2 Socket Configuration界面

(3) 进入图4-3所示界面，选择Intel® VMD technology，然后按Enter。

图4-3 IIO Configuration界面

(4) 进入图4-4所示界面，选择 Intel® VMD for Volume Management Device on Processor 1(根据CPU槽位选择)，按Enter。

图4-4 Intel® VMD technology界面

(5) （G3产品）进入图4-5所示界面，设置每个Intel® VMD for Volume Management Device for PStack为Auto。

如需通过VROC NVMe RAID为NVMe硬盘组建RAID，针对需要组建RAID的所有NVMe硬盘从属的处理器的VMD状态，请配置为Auto。

图4-5 配置VMD状态为Auto

表4-3 参数说明

界面参数	功能说明
Intel® VMD for Volume Management Device for PStackX	PStackX中的英特尔®VMD卷管理设备配置菜单，此功能在LEGACY模式下不支持，仅支持UEFI模式，菜单选项为： · Disabled：禁用此PStackX中英特尔®卷管理设备技术。 · Enabled：启用PStackX上的VMD技术。当选择此项时，显示更加细致的配置选项。 · Auto（缺省）：自动表示当POST阶段检测到此栈上有设备接入时，将自动启用VMD技术（部分G3产品的Auto选项实际被设定为Enable）。

界面参数

功能说明

Intel® VMD for Volume Management Device for PStackX

PStackX中的英特尔®VMD卷管理设备配置菜单，此功能在LEGACY模式下不支持，仅支持UEFI模式，菜单选项为：

· Disabled：禁用此PStackX中英特尔®卷管理设备技术。

· Enabled：启用PStackX上的VMD技术。当选择此项时，显示更加细致的配置选项。

· Auto（缺省）：自动表示当POST阶段检测到此栈上有设备接入时，将自动启用VMD技术（部分G3产品的Auto选项实际被设定为Enable）。

(6) （G5产品）进入图4-6所示界面，设置每个VMD Config for IOU下的VMD port XX-Slot XX为Auto。

如需通过VROC NVMe RAID为NVMe硬盘组建RAID，针对需要组建RAID的所有NVMe硬盘从属的处理器的VMD状态，请配置为Enabled。

图4-6 配置VMD状态为Enabled

表4-4 参数说明

界面参数	功能说明
VMD Config for PCH（IOU n）	标识后续选项为PCH或IOU端口n的VMD功能设置
Enable/Disable VMD	PCH或IOU端口的VMD功能总设置开关，此功能在LEGACY模式下不支持，仅支持UEFI模式，菜单选项为： · Disabled（缺省）：禁用此PCH或IOU端口的英特尔®卷管理设备技术 · Enabled：启用此PCH或IOU端口上的VMD技术。当选择此项时，显示后续选项
VMD port nA/B/C/D - Slot x	端口的VMD功能配置选项。Slot标识根据实际Riser和NVMe背板的情况动态显示，当该端口接入设备时，显示对应设备的槽位号。菜单选项为： · Disabled（缺省）：禁用该端口的VMD功能 · Enabled：启用该端口的VMD功能
Hot Plug Capable	热插拔功能配置。菜单选项为： · Disabled（缺省）：禁用该端口的热插拔功能 · Enabled：启用该端口的热插拔功能
CfgBar Size	设置VMD配置BAR大小(以bits表示，最小=20，最大=27)，默认为25
MemBar1 size	内存Bar1大小，默认为25
MemBar2 size	内存Bar2大小，默认为20

(7) 保存修改并重启BIOS使配置VMD状态生效。

2. 进入NVMe RAID配置界面

本节介绍进入NVMe RAID功能相关的配置入口的操作步骤。

(1) 进入BIOS Setup界面。

(2) 如图4-7所示，在BIOS Setup界面选择Advanced页签 > Intel® Virtual RAID on CPU。

如图4-7所示界面上存在Intel® Virtual RAID on CPU选项的前提是VMD 控制器已经使能（具体方法请参见配置VMD状态。

图4-7 Advanced界面

(3) 进入图4-8所示的NVMe RAID概述界面，选择All Intel VMD Controllers，按Enter。

图4-8 NVMe RAID概述界面

(4) 进入图4-9所示的NVMe RAID配置界面。

图4-9 NVMe RAID配置界面

3. 配置NVMe RAID

本节介绍配置NVMe RAID的详细操作步骤，操作过程如下。

(1) 进入NVMe RAID配置界面，具体方法请参见2. 进入NVMe RAID配置界面。

(2) 如图4-10所示，选择Create RAID Volume，按Enter。

只有当NVMe VROC Key识别到两个及两个以上的NVMe硬盘的状态为Non-RAID时，才会有Create RAID Volume选项。

图4-10 选择Create RAID Volume界面

(3) 进入图4-11所示界面，在Name、RAID Level、Select Disks、Capacity等输入栏进行相应的设置（参数说明请参见表4-5），然后选择Create Volume，按Enter，然后选择YES，按Enter，完成RAID的创建。

图4-11 设置RAID参数

表4-5 参数说明

参数	说明
Name	RAID的名称
RAID Level	RAID级别，其决定了逻辑磁盘性能、容错能力和容量
Enable RAID spanned over VMD Controllers	RAID跨越VMD控制器使能选项，通过按空格键进行选择，[X]表示使能该选项。当选择了该项之后，可以同时选择不同VMD控制器下的磁盘进行RAID的组建
Strip Size	RAID的条带大小
Select Disks	选择组成RAID的成员磁盘。Select Disks栏下方显示了可用的磁盘，按空格键选择磁盘，[X]表示该磁盘已被选中
Capacity（GB）	逻辑磁盘的容量

(4) RAID创建完成后，进入如图4-12所示界面，创建完成的RAID会在RAID Volumes目录下显示。选择某个RAID，按Enter，可查看该RAID的详细信息（包括RAID名称、级别，条带值，状态，容量，是否可作为启动盘，所含磁盘信息等）。

图4-12 查看创建的RAID

4.2.2 常用功能配置

1. 配置热备盘

本节介绍配置热备盘的详细操作步骤。

本功能配置的为专有热备盘，热备盘只对第一个RAID卷有效，“第一个RAID卷”是指按照“Intel Virtual RAID on CPU”界面显示RAID卷的顺序从上至下第一个RAID卷。

(1) 进入NVMe RAID配置界面，具体方法请参见4.2.1 2. 进入NVMe RAID配置界面。

(2) 如图4-13所示，选择红框中的NVMe硬盘用来配置为热备盘，按Enter。

图4-13 选择要用来做热备盘的NVMe硬盘

(3) 进入图4-14所示界面，选择Mark as Spare，按Enter。

图4-14 热备盘配置界面

(4) 进入图4-15所示界面，选择Yes，按Enter完成配置热备盘的操作。

图4-15 确认热备盘的配置

2. 删除RAID

本节介绍删除RAID的详细操作步骤，操作过程如下。

(1) 进入NVMe RAID配置界面，具体方法请参见4.2.1 2. 进入NVMe RAID配置界面。

(2) 如图4-16所示，在RAID Volumes目录下选中待删除的RAID，按Enter。

图4-16 选择待删除的RAID

(3) 进入图4-17所示RAID的信息界面，选择Delete，按Enter。

图4-17 RAID信息界面

(4) 进入如图4-18所示确认界面，选择YES，按Enter完成删除RAID的操作。

图4-18 RAID删除确认界面

3. 定位NVMe硬盘位置

本节介绍定位NVMe硬盘位置的详细操作步骤。

(1) 进入NVMe RAID配置界面，具体方法请参见4.2.1 2. 进入NVMe RAID配置界面。

(2) 如图4-19所示，选择需要定位的NVMe硬盘，按Enter。

图4-19 选择需要定位的NVMe硬盘

(3) 进入图4-20所示界面，选择Turn Locate LED On，按Enter完成NVMe硬盘定位，具体硬盘指示灯信息请参见对应产品用户指南。

图4-20 NVMe硬盘定位界面

4. 查询NVMe VROC Key规格

本节介绍在BIOS配置界面下，查询NVMe VROC Key规格的步骤。

(1) 进入BIOS Setup界面。

(2) 如图4-7所示，在BIOS Setup界面选择Advanced页签 > Intel® Virtual RAID on CPU。

如图4-21所示界面上存在Intel® Virtual RAID on CPU选项的前提是VMD 控制器已经使能（具体方法请参见配置VMD状态。

图4-21 Advanced界面

(3) 进入图4-8所示的NVMe RAID概述界面，其中“Upgrade key”表示NVMe VROC Key的规格。关于NVMe VROC Key规格的详细说明，请参见4.1.1 NVMe VROC Key规格。

图4-22 NVMe RAID概述界面

4.3 Legacy启动模式下配置RAID

NVMe VROC不支持在Legacy启动模式下配置RAID。

4.4 Linux操作系统下配置RAID

本节介绍在Linux操作系统下如何配置NVMe RAID。

4.4.1 初始功能配置

1. 配置VMD状态

请参见配置VMD状态对VMD状态进行配置。

2. 确认VMD状态

在Linux操作系统下执行mdadm --detail-platform命令检查VMD状态是否已使能。如果可以看到类似图4-23中红框部分的Platform和Version的具体信息，表明VMD状态已使能，可以配置NVMe RAID；如果执行命令后看不到类似红框部分的两行信息，请参见1. 配置VMD状态将VMD状态调整为Auto或Enable。

不同产品的Version信息可能略有差异，具体请以实际情况为准。

图4-23 检查VMD状态

3. 配置RAID

(1) 创建NVMe RAID前首先需要确认NVMe硬盘个数满足组建RAID的要求，输入lsblk查看可用NVMe硬盘个数，如图4-24所示。

图4-24 查看NVMe硬盘个数

(2) 创建容器，在Linux操作系统下输入mdadm -C /dev/md/imsm0 /dev/nvme[1-4]n1 -n 4 -e imsm命令创建容器，如图4-25所示。命令对应的参数请参见表4-6。

图4-25 创建容器

表4-6 参数说明

参数	说明
/dev/md/imsm0	容器名称
/dev/nvme[1-4]n1	创建容器使用NVMe硬盘
n	使用NVMe硬盘数量
-e imsm	使用IMSM元数据创建容器时，需要使用“-e imsm”选项

(3) 容器创建完成后创建NVMe RAID，输入mdadm -C /dev/md0 /dev/md/imsm0 -n 4 -l 5 -z 10G命令创建RAID，如图4-26所示。命令对应的参数请参见表4-7。

图4-26 创建NVMe RAID

表4-7 参数说明

参数	说明
/dev/md0	RAID名称
/dev/md/imsm0	容器名称
n	RAID中的NVMe硬盘数
l	RAID级别
z	RAID容量

(4) 创建NVMe RAID后输入命令mdadm -D /dev/md0可以查看到容器名称、RAID级别、条带值、NVMe硬盘数量、RAID状态等信息。具体信息如图4-27所示。

图4-27 查看RAID信息

4.4.2 常用功能配置

1. 配置热备盘

配置热备盘可通过以下两种方法：

· 创建RAID的同时创建热备盘

a. 确认VMD状态为Auto且已使能，具体步骤请参见4.4.1 2. 确认VMD状态。

b. 输入mdadm -C /dev/md0 /dev/nvme[1-3]n1 -n 3 -e imsm命令创建容器，如图4-28所示。创建容器使用NVMe硬盘数量为n+1块盘，此处以3块举例。

图4-28 创建容器

c. 输入mdadm -C /dev/md1 /dev/md0 -n 2 -l 1 -z 10G命令创建RAID，如图4-29所示。创建RAID使用NVMe硬盘数量为n块盘，此处以2块举例。

图4-29 创建NVMe RAID

· RAID创建完成后添加热备盘

在RAID创建完成后，输入mdadm -a /dev/md0 /dev/nvme1n1，向容器中添加热备盘。

图4-30 添加热备盘

2. 删除RAID

(1) 输入mdadm -S /dev/md1命令停止RAID进程，如图4-31所示。

(2) 输入mdadm -S /dev/md0命令停止容器进程，如图4-31所示。

(3) 输入mdadm --zero-superblock /dev/nvme[1-4]n1命令清除NVMe盘上的所有RAID信息，完成删除RAID操作，如图4-31所示。

图4-31 删除RAID

4.5 Windows操作系统下配置RAID

本节介绍在Windows操作系统下如何配置NVMe RAID。

4.5.1 初始功能配置

1. 配置VMD状态

请参见配置VMD状态对VMD进行配置。

2. 确认VMD状态

通过设备管理器检查VMD状态是否已使能。如果可以看到图4-32中的Storage controllers下有任一一条红框中的信息，表明VMD状态已使能，可以配置NVMe RAID；如果Storage controllers下NVMe硬盘对应显示为Standard NVM Express Controller或无信息，请参见1. 配置VMD状态对VMD重新进行配置。

图4-32 Windows操作系统下检查VMD状态