- 产品与解决方案
- 行业解决方案
- 服务
- 支持
- 合作伙伴
- 新华三人才研学中心
- 关于我们
手册下载
H3C服务器 NVMe硬盘在线更换操作指导-6W106-整本手册.pdf (7.63 MB)
H3C服务器
NVMe硬盘在线更换操作指导
资料版本：6W106-20240322
Copyright © 2021-2024 新华三技术有限公司 版权所有，保留一切权利。
非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。
除新华三技术有限公司的商标外，本手册中出现的其它公司的商标、产品标识及商品名称，由各自权利人拥有。
本文档中的信息可能变动，恕不另行通知。
3 热插拔方式更换NVMe硬盘（适用于Intel平台服务器）
3.2.2 Linux操作系统（VMD状态为Auto/Enabled）
3.2.3 Linux操作系统（VMD状态为Disabled）
4 热插拔方式更换NVMe硬盘（适用于AMD/Hygon平台服务器）
5.2.1 Windows操作系统（VMD状态为Auto/Enabled）
5.2.2 Windows操作系统（VMD状态为Disabled）
5.2.3 Linux操作系统（VMD状态为Auto/Enabled）
5.2.4 Linux操作系统（VMD状态为Disabled）
5.3.1 Windows操作系统（VMD状态为Auto/Enabled）
服务器支持的NVMe硬盘包括NVMe U.2 SSD、NVMe M.2 SSD以及PCIe加速卡三类，本文介绍NVMe U.2 SSD（以下简称NVMe硬盘）的在线更换方法，其余两类硬盘不支持在线更换。
NVMe硬盘支持如下两种在线更换方式。
· 方式一：热插拔方式对NVMe硬盘进行在线更换。
操作系统正常运行的情况下，用户直接拔出旧硬盘，插入新硬盘。
· 方式二：预知性热插拔方式对NVMe硬盘进行在线更换。
操作系统正常运行的情况下，用户需执行如下操作：
a. 在操作系统下对硬盘执行拔出命令，确保系统内部完成热拔出流程。
b. 拔出旧硬盘。
c. 插入新硬盘。
服务器支持的NVMe硬盘在线更换方式，请通过OS兼容性查询工具查询，具体请参见2.3 选择在线更换方式。
NVMe硬盘在线更换的操作场景如下：
· NVMe硬盘故障。
· 更换空间已满的NVMe硬盘。
· 更换其他型号的NVMe硬盘。
NVMe硬盘故障现象可通过以下方法判断：
· NVMe硬盘Fault/UID橙色指示灯常亮。
· HDM Web界面显示NVMe硬盘状态异常。
· HDM日志上报NVMe硬盘故障。
· 操作系统日志上报NVMe硬盘故障。
· 参见《H3C服务器故障处理手册》中NVMe硬盘的故障案例和现象。
本手册适用于以下产品：
· Intel平台服务器
¡ 机架服务器
- H3C UniServer R4300 G6
- H3C UniServer R4700 G6
- H3C UniServer R4700LE G6
- H3C UniServer R4900 G6
- H3C UniServer R4900 G6 Ultra
- H3C UniServer R4900LE G6 Ultra
- H3C UniServer R6700 G6
- H3C UniServer R6900 G6
- H3C UniServer R5300 G6
- H3C UniServer R5500 G6 Intel
- H3C UniServer R4300 G5
- H3C UniServer R4700 G5
- H3C UniServer R4700LC G5
- H3C UniServer R4900 G5
- H3C UniServer R4900LC G5
- H3C UniServer R5300 G5
- H3C UniServer R5500 G5 Intel
- H3C UniServer R6900 G5
- H3C UniServer R2700 G3
- H3C UniServer R2900 G3
- H3C UniServer R4300 G3
- H3C UniServer R4700 G3
- H3C UniServer R4900 G3
- H3C UniServer R5300 G3
- H3C UniServer R6700 G3
- H3C UniServer R6900 G3
- H3C UniServer R8900 G3
¡ 刀片服务器
- H3C UniServer B5700 G6
- H3C UniServer B5700 G5
- H3C UniServer B5700 G3
- H3C UniServer B5800 G3
- H3C UniServer B7800 G3
· AMD平台服务器
¡ H3C UniServer R5300 G6
¡ H3C UniServer R5500 G6 AMD
¡ H3C UniServer R4950 G6
¡ H3C UniServer R3950 G6
¡ H3C UniServer R4950 G5
¡ H3C UniServer R5500 G5 AMD
· Hygon平台服务器
¡ H3C UniServer R5500 G5 H3
¡ H3C UniServer R4330 G5
¡ H3C UniServer R4930 G5
¡ H3C UniServer R4930 G5 H3
介绍NVMe硬盘在线更换对服务器的配置要求，以及如何查询NVMe硬盘支持的在线更换方式。
· 对于待拔出的NVMe硬盘，请停止其业务并做好数据备份，以防数据丢失。
· 对于待安装的NVMe硬盘，请通过服务器兼容的部件查询工具，查询服务器支持的NVMe硬盘型号，确保服务器兼容该硬盘。
· 服务器支持的NVMe硬盘安装位置，请参见产品用户指南。
可通过BIOS设置VMD功能，VMD功能包括三种状态：Auto、Enabled、Disabled。关于VMD功能的设置内容请参见6.1 关于VMD功能。
· 针对Intel平台服务器：如下型号服务器，支持VMD状态为Enabled、Disabled时的NVMe硬盘在线更换操作；其余型号服务器，仅支持VMD状态为Auto或Enabled时的NVMe硬盘在线更换操作。
¡ H3C UniServer R4300 G6
¡ H3C UniServer R4700 G6
¡ H3C UniServer R4700LE G6
¡ H3C UniServer R4900 G6
¡ H3C UniServer R4900 G6 Ultra
¡ H3C UniServer R4900LE G6 Ultra
¡ H3C UniServer R6700 G6
¡ H3C UniServer R6900 G6
¡ H3C UniServer R4300 G5
¡ H3C UniServer R4700 G5
¡ H3C UniServer R4900 G5
¡ H3C UniServer R6900 G5
· 针对AMD/Hygon平台服务器：不涉及VMD功能，故无相关要求。
在legacy模式下，无论将VMD功能设置为何种状态（Auto/Enabled/Disabled），其实际状态均为Disabled，请依照该实际状态，并结合OS兼容性查询工具判断产品是否支持NVMe硬盘在线更换操作。
· 机架服务器（VMD状态为Auto/Enabled）
¡ G6系列
- BIOS：BIOS-6.00.20版本及以上
- HDM：HDM2-1.18版本及以上
¡ G5系列
- BIOS：BIOS-5.06版本及以上
- HDM：HDM-2.13版本及以上
¡ G3系列
- BIOS：BIOS-2.00.39版本及以上
- HDM：HDM-1.30.18版本及以上
· 机架服务器（VMD状态为Disabled）
¡ G6系列
- BIOS：BIOS-6.00.20版本及以上
- HDM：HDM2-1.18版本及以上
¡ G5系列
- BIOS：BIOS-5.32版本及以上
- HDM：HDM-2.70版本及以上
¡ G5系列
- BIOS：BIOS-5.39版本及以上
- HDM：HDM-2.85版本及以上
· 刀片服务器
¡ G5系列
- BIOS：BIOS-5.23版本及以上
- HDM：HDM-2.35版本及以上
¡ G3系列
- BIOS：BIOS-2.00.32版本及以上
- HDM：HDM-1.12.06版本及以上
· AMD Genoa
¡ BIOS：BIOS-6.30.04版本及以上
¡ HDM：HDM2-1.12版本及以上
¡ CPLD：V003版本及以上
· AMD Milan
¡ BIOS：BIOS-5.13版本及以上
¡ HDM：HDM-2.80版本及以上
· AMD Rome
¡ BIOS：BIOS-5.27版本及以上
¡ HDM：HDM-2.80版本及以上
对于Hygon平台的服务器，无BIOS和HDM软件版本要求。
若待拔出的NVMe硬盘属于RAID成员盘，则同一时间移除的硬盘数量，请勿超过表2-1中的“最多故障硬盘数量”。
表2-1 RAID级别与最多故障硬盘数量
|
RAID级别 |
硬盘数量 |
最多故障硬盘数量 |
|
RAID 0 |
≥2 |
0 |
|
RAID 1 |
2 |
1 |
|
RAID 5 |
≥3 |
1 |
|
RAID 10 |
4 |
2* |
|
2*：故障的2块硬盘应属于不同冗余阵列的RAID 1。 |
||
通过OS兼容性查询工具，选择“NVMe硬盘OS兼容性”页签，可以查询基于服务器当前配置（CPU平台、VMD状态、操作系统），NVMe硬盘支持的在线更换方式，如图2-1所示。
查询结果包括：
· 仅支持预知性热插拔。
· 仅支持热插拔。
· 两种方式均支持。此时，选择任一方式即可。
· 两种方式均不支持。此时，请联系技术支持。
图3-1 热插拔方式更换NVMe硬盘流程图
Windows操作系统仅支持VMD状态为Auto/Enabled时的热拔操作，不支持VMD状态为Disabled时的热拔操作。
请确保Intel® VROC驱动版本等于或高于BIOS中的VROC PreOS版本。若Intel® VROC驱动版本低于VROC PreOS版本，请通过H3C官网获取最新的Intel® VROC驱动版本并升级。
两个版本可在Windows操作系统下查询，查询方法如下。
(1) 获取并打开工具Intel®Virtual RAID on CPU，单击菜单栏中的
图标，如图3-2所示。
· 用户可通过如下两种方式获取工具Intel®Virtual RAID on CPU：
¡ 通过H3C官网进行下载。
¡ 使用Intel授权账号登录Intel官方网站进行下载。
· 该工具操作指导书包含在工具包中，用户可以通过操作指导书了解如何安装和使用该工具。
(2) 如图3-3中①所示，在弹出的新窗口中，单击菜单栏中的[System Report]选项。
a. 如图3-3中②所示，查看VROC PreOS版本信息。
b. 如图3-3中③所示，查看Intel® VROC驱动版本信息。
(1) 停止待拔出的NVMe硬盘业务。
(2) 备份待拔出的NVMe硬盘数据。
(3) 打开工具Intel®Virtual RAID on CPU，查看服务器上的NVMe硬盘，如图3-4所示。
(4) 确定待拔出NVMe硬盘的规格信息，如图3-5中①和②所示。
本文以“Controller 0,Port1”上的硬盘为例进行操作。
图3-5 确定待拔出NVMe硬盘在服务器中的位置
(5) （可选）如果待拔出的NVMe硬盘为RAID成员盘且已配置热备功能，当待拔出的NVMe硬盘故障时，请先判断RAID重建是否完成。
· 如果RAID正在重建中，如图3-6所示，请等待RAID重建完成。
重建RAID过程中禁止对待拔出的NVMe硬盘执行任何操作，否则可能造成数据丢失的风险。
图3-6 RAID正在重建
· 如果RAID重建完成，如图3-7所示，此时，热备盘已经成为成员盘，请执行步骤(6)。
图3-7 RAID重建完成
(6) 通过为待拔出的NVMe硬盘点灯确认硬盘在服务器上的物理位置。如图3-8所示，单击“Activate LED”，为NVMe硬盘点灯，此时硬盘Fault/UID指示灯变为蓝灯常亮10s，Present/Active指示灯变为绿灯常亮。
硬盘Fault/UID指示灯蓝灯常亮10s后，会自动熄灭。
图3-8 为待拔出的NVMe硬盘点灯
(7) 拆卸NVMe硬盘。
· 本文以一款服务器为例，介绍NVMe硬盘的拆卸方法。
· 请勿频繁插拔硬盘。如果硬盘被频繁插拔，且插拔时间间隔小于30秒，被插拔槽位的硬盘存在无法被识别的风险。
· 不支持多块硬盘同时拔出，否则有可能导致系统异常。请按顺序拆卸NVMe硬盘，完全拆卸完1块NVMe硬盘后再拆卸其他硬盘。
a. 如图3-9中①所示，按下硬盘面板按钮，硬盘扳手会自动打开。
b. 如图3-9中②所示，从硬盘槽位中拔出硬盘。
c. 拆卸硬盘支架。如图3-10所示，移除硬盘支架上的所有固定螺钉，并将硬盘从硬盘支架上移除。
d. 将拆卸下来的硬盘放入防静电包装袋中。
禁止将两个及以上的部件放入同一个防静电包装袋。
(1) 确定待拔出NVMe硬盘的盘符。如图3-11所示，打开操作系统命令终端，执行命令lsblk |grep nvme，查看服务器上的NVMe硬盘的盘符。
本文以盘符为nvme2n1的NVMe硬盘为例进行操作。
图3-11 查看NVMe硬盘的盘符
(2) 停止待拔出的NVMe硬盘业务。
(3) 备份待拔出的NVMe硬盘数据。
(4) 请根据待拔出的NVMe硬盘实际情况进行以下操作：
· 如果待拔出的NVMe硬盘为直通盘，请先查看待拔出NVMe硬盘的挂载情况。若NVMe硬盘已挂载，请务必先将其解除挂载。
a. 执行命令df -h，查看待拔出的NVMe硬盘挂载情况。如图3-12红框所示，硬盘nvme2n1当前为已挂载状态。
图3-12 查看待拔出的NVMe硬盘的挂载情况
b. 执行命令umount /dev/nvme2n1，将硬盘解除挂载。如图3-13所示，将NVMe硬盘nvme2n1解除挂载。
c. 执行命令df -h，确认待拔出的NVMe硬盘nvme2n1已解除挂载，如图3-14所示。
图3-14 确认NVMe硬盘nvme2n1已解除挂载
d. 请执行步骤(5)。
· 如果待拔出的NVMe硬盘为RAID成员盘且已配置热备功能，当待拔出的NVMe硬盘故障时，请确认NVMe逻辑盘的挂载情况及RAID重建状态。
本文以盘符为md0p1的NVMe逻辑盘为例进行操作。
a. 执行命令df -h，确认待拔出NVMe逻辑盘的挂载情况，如图3-15所示，此时NVMe逻辑盘md0p1已挂载。
图3-15 查看待拔出的NVMe硬盘的挂载情况
b. 执行命令umount /dev/md0p1将其解除挂载，如图3-16所示。
c. 执行命令df -h，确认NVMe逻辑盘md0p1已解除挂载，如图3-17所示。
图3-17 确认NVMe逻辑盘md0p1已解除挂载
d. 执行命令cat /proc/mdstat，判断RAID重建是否完成。
¡ 如果RAID正在重建中，如图3-18所示，请等待RAID重建完成。
重建RAID过程中禁止对待拔出的NVMe硬盘执行任何操作，否则可能造成数据丢失的风险。
图3-18 RAID正在重建
图3-19 RAID重建完成
e. 由图3-19可知硬盘所在的容器的设备号，为/dev/md127。执行命令mdadm -r /dev/md127 /dev/nvme2n1，将硬盘nvme2n1从容器中移出，如图3-20所示。
f. 执行命令cat /proc/mdstat，确认硬盘nvme2n1是否移出成功。如图3-21所示，硬盘nvme2n1不再显示，即已经从容器中移出。
g. 请执行步骤(5)。
· 如果待拔出的NVMe硬盘为RAID成员盘且未配置热备盘，当待拔出的NVMe硬盘故障时。
a. 确认待拔出NVMe逻辑盘的挂载情况，若已挂载请解除。具体步骤请参见a。
b. 进行步骤(5)。
(5) 确定待拔出NVMe硬盘在服务器中的位置。
a. 确定操作系统下盘符对应的BUS number。执行命令find /sys/devices -iname nvme2n1，如图3-22所示，确认硬盘nvme2n1对应的BUS number为10000:04:00.0。
b. 确定硬盘BUS number对应的PCIe槽位号。执行命令lspci -vvs 10000:04:00.0，如图3-23所示，确认硬盘nvme2n1对应的PCIe槽位号为109。
图3-23 确定硬盘BUS number对应的PCIe槽位号
c. 根据获取到的PCIe槽位号，确定硬盘PCIe槽位号对应的物理槽位号。登录HDM Web，如图3-24中①所示，选择[存储管理/物理视图]，确认硬盘PCIe槽位号Slot 109对应的物理槽位号为Front slot 9。
图3-24 确定硬盘PCIe槽位号对应的物理槽位号
不同版本的HDM Web选项可能会有所不同，但是查看NVMe硬盘信息的方法类似，具体请以软件实际界面为准。
d. 根据HDM Web获取到的物理槽位号Front slot 9，查询服务器用户指南附录《硬盘槽位号对应关系表》，对应的前部硬盘槽位号丝印为9，如图3-25和图3-26所示。
G3系列服务器的《硬盘槽位号对应关系表》，请联系技术支持获取。
e. 在HDM Web界面中，开启[定位灯状态]选项，如图3-24中②所示。此时该NVMe硬盘的Fault/UID指示灯蓝色常亮，定位硬盘实际槽位。
(6) 拆卸NVMe硬盘，详细操作方法请参见3.2.1 2. 操作步骤中的步骤(7)。
G5系列服务器在进行操作前，请确保BIOS下已开启[OS-Aware & Surprise Hotplug]功能，若未开启此功能，请在操作前自行开启。具体操作方法如下：
(1) 进入BIOS Setup界面，选择Advanced > Socket Configuration，如图3-27所示。
图3-27 BIOS下选择Advanced > Socket Configuration
不同版本BIOS下的选项可能会有所不同，但操作方法类似，具体请以实际界面为准。
(2) 进入IIO Configuration选项卡，如图3-28所示。
(3) 在Enhanced NVMe Hotplug Support选项中选择[OS-Aware & Surprise Hotplug]选项，如图3-29所示。
图3-29 选择[OS-Aware & Surprise Hotplug]选项
(1) 确定待拔出NVMe硬盘的盘符。如图3-30所示，打开操作系统命令终端，执行命令lsblk |grep nvme，查看服务器上的NVMe硬盘的盘符。
本文以盘符为nvme2n1的NVMe硬盘为例进行操作。
图3-30 查看NVMe硬盘的盘符
(2) 停止待拔出的NVMe硬盘业务。
(3) 备份待拔出的NVMe硬盘数据。
(4) VMD功能为Disabled状态下，NVMe硬盘均为直通盘，请先查看待拔出NVMe硬盘的挂载情况。若NVMe硬盘已挂载，请务必先将其解除挂载。
a. 执行命令df -h，查看待拔出的NVMe硬盘挂载情况。如图3-31红框所示，硬盘nvme2n1当前为已挂载状态。
图3-31 查看待拔出的NVMe硬盘的挂载情况
b. 执行命令umount /dev/nvme2n1，将硬盘解除挂载。如图3-32所示，将NVMe硬盘nvme2n1解除挂载。
c. 执行命令df -h，确认待拔出的NVMe硬盘nvme2n1已解除挂载，如图3-33所示。
图3-33 确认NVMe硬盘nvme2n1已解除挂载
(5) 确定待拔出NVMe硬盘在服务器中的位置。
a. 确定操作系统下盘符对应的BUS number。执行命令find /sys/devices -iname nvme2n1，如图3-34所示，确认硬盘nvme2n1对应的BUS number为0000:67:00.0。
b. 确定硬盘BUS number对应的PCIe槽位号。执行命令lspci -vvs 0000:67:00.0，如图3-35所示，确认硬盘nvme2n1对应的PCIe槽位号为106。
图3-35 确定硬盘BUS number对应的PCIe槽位号
c. 确定硬盘PCIe槽位号对应的物理槽位号。登录HDM Web，如图3-36所示，选择[存储管理/物理视图]，确认硬盘PCIe槽位号Slot 106对应的物理槽位号为Front slot 6。
图3-36 确定硬盘PCIe槽位号对应的物理槽位号
d. 根据HDM Web获取到的物理槽位号Front slot 6，查询服务器用户指南附录《硬盘槽位号对应关系表》，对应的前部硬盘槽位号丝印为6，如图3-37和图3-38所示。
(6) 拆卸NVMe硬盘，详细操作方法请参见3.2.1 2. 操作步骤中的步骤(7)。
VMware操作系统仅支持VMD状态为Auto/Enabled时的热拔操作，不支持VMD状态为Disabled时的热拔操作。
(1) 确定待拔出NVMe硬盘的设备名称。如图3-39所示，在VMWare系统的管理界面，单击“设备”页签，查看NVMe硬盘的设备名称。
本文以设备名称为“t10.NVMe__INTEL_SSDPE2KE016T8_______BTLN813609NS1P6AGN_00000001”的NVMe硬盘为例进行操作。
图3-39 查看NVMe硬盘的设备名称
(2) 停止待拔出的NVMe硬盘业务。
(3) 备份待拔出的NVMe硬盘数据。
(4) 查看待拔出的硬盘是否已挂载。如图3-40所示，单击待拔出的硬盘的设备名称，查看是否挂载。
· 如有分区，代表硬盘已挂载，请先卸载，即执行步骤(5)。
· 如无分区，代表硬盘未挂载，请给硬盘点灯，即执行步骤(6)。
图3-40 查看NVMe硬盘是否挂载
(5) （可选）卸载NVMe硬盘。
a. 如图3-41所示，在VMWare系统的管理界面，单击“数据存储”页签，查看已挂载的NVMe硬盘。
b. 如图3-42所示，单击硬盘的名称，确认硬盘的设备名称是否为待拔出的NVMe硬盘的设备名称。
图3-42 确认待拔出的NVMe硬盘设备名称
c. 如图3-43和图3-44所示，单击[操作/卸载]，卸载并确认待拔出的NVMe硬盘。
d. 如图3-45所示，单击“数据存储”，已卸载的硬盘容量为0代表卸载成功。
(6) 在操作系统下，通过为待拔出的NVMe硬盘点灯以确认硬盘在服务器上的物理位置。
请登录H3C官网获取并安装该服务器适配的最新版本VROC驱动，其中包含了NVMe硬盘点灯工具。不同的驱动版本，该工具对应名称也不同，具体如下，本文以intel-vmd-user工具为例。
· 驱动版本小于等于2.0，工具名称为intel-vmd-user
· 驱动版本大于2.0，工具名称为intel-vmdr-user
a. 执行命令esxcfg-mpath -L，查看NVMe硬盘的设备名称和SCSI ID的对应关系，可以看到设备名称为“t10.NVMe__INTEL_SSDPE2KE016T8_______BTLN813609NS1P6AGN_00000001”的硬盘对应的VMD适配器为“vmhba2”；硬盘编号为“T1”。
图3-46 查看NVMe硬盘的设备名称和SCSI ID的对应关系
b. 执行命令cd /opt/intel/bin/，进入工具所在目录。
图3-47 进入工具所在目录
c. 执行命令./intel-vmd-user set-led vmhba2 -d 1 -l identify，为设备名称为“t10.NVMe__INTEL_SSDPE2KE016T8_______BTLN813609NS1P6AGN_00000001”的NVMe硬盘点灯。“T1”编号的NVMe硬盘，在点灯命令中对象参数值为“1”。
图3-48 为待拔出的NVMe硬盘点灯
d. 观察NVMe硬盘指示灯。如果硬盘Fault/UID指示灯变为蓝灯常亮，Present/Active指示灯变为绿灯常亮，即可拔出硬盘。
(7) 拆卸NVMe硬盘，详细操作方法请参见3.2.1 2. 操作步骤中的步骤(7)。
(1) 安装NVMe硬盘。
· 不同服务器NVMe硬盘的安装方法类似，本文以一款服务器为例，介绍NVMe硬盘的安装方法。
· 不支持多块硬盘同时安装，否则有可能导致系统异常。请按顺序安装NVMe硬盘，完全安装完1块NVMe硬盘，且NVMe硬盘信息完全被操作系统识别后再安装其他硬盘。
· 安装时，请匀速插入NVMe硬盘，过程中请勿停顿，否则容易导致操作系统卡死或重启。
· 请勿频繁插拔硬盘。如果硬盘被频繁插拔，且插拔时间间隔小于30秒，被插拔槽位的硬盘存在无法识别的风险。
a. 安装硬盘到硬盘支架。如图3-49所示，先将四颗固定螺钉固定到四个螺孔中，然后依次拧紧螺钉。
b. 如图3-50所示，按下硬盘面板按钮，硬盘扳手会自动打开。
c. 如图3-51中①所示，将硬盘推入槽位，直到推不动为止。
d. 如图3-51中②所示，合上硬盘扳手，直到听见咔哒一声。
(2) 观察硬盘指示灯的最终状态，Present/Active指示灯显示为绿色常亮且Fault/UID指示灯熄灭，表示NVMe硬盘在位且无故障。
(3) 在操作系统中查看新安装的NVMe硬盘工作状态，以确保NVMe硬盘安装成功。进入操作系统后，通过Intel®Virtual RAID on CPU工具查看NVMe硬盘列表的数量是否新增、新硬盘信息与实际信息是否相符。
图3-52 NVMe硬盘安装成功（Windows操作系统）
VMD功能为Auto/Enabled或Disabled状态下，对NVMe硬盘的热插操作方法类似，本文以VMD状态为Auto/Enabled举例。
(1) 安装NVMe硬盘，详细操作方法请参见3.3.1 Windows操作系统中的步骤(1)。
(2) 观察硬盘指示灯的最终状态，Present/Active指示灯显示为绿色常亮且Fault/UID指示灯熄灭，表示NVMe硬盘在位且无故障。
(3) 在操作系统命令终端，执行命令lspci -vvs，确认新安装的NVMe硬盘已被系统识别。如图3-53所示，执行命令lspci -vvs 10000:04:00.0，查看到已有BUS number为10000:04:00.0的硬盘信息，即槽位上的硬盘已被系统识别。BUS number的获取方法请参见3.2.2 (5) 确定待拔出NVMe硬盘在服务器中的位置中的步骤a。
图3-53 操作系统下通过lspci命令确认NVMe硬盘已被系统识别
(4) 在操作系统命令终端查看新安装的NVMe硬盘盘符信息。如图3-54所示，执行命令lsblk，查看到已有盘符为nvme2n1的硬盘，证明新硬盘已成功安装。
图3-54 操作系统下通过lsblk命令确认新安装硬盘安装成功
(1) 安装NVMe硬盘，详细操作方法请参见3.3.1 Windows操作系统中的步骤(1)。
(2) 观察硬盘指示灯的最终状态，Present/Active指示灯显示为绿色常亮且Fault/UID指示灯熄灭，表示NVMe硬盘在位且无故障。
(3) 在操作系统中中查看新安装的NVMe硬盘工作状态，以确保NVMe硬盘安装成功。进入操作系统后，如图3-55所示，执行命令esxcfg-mpath -L，查看到已有设备名称为“t10.NVMe__INTEL_SSDPE2KE016T8_______BTLN813609NS1P6AGN_00000001”的硬盘，即硬盘已经安装成功。
图3-55 操作系统下通过esxcfg-mpath -L命令确认NVMe硬盘安装成功
图4-1 热插拔方式更换NVMe硬盘流程图
(1) 停止待拔出的NVMe硬盘业务。
(2) 备份待拔出的NVMe硬盘数据。
(3) 在操作系统下打开服务器设备管理器“Device Manager”，在[Storage controllers]栏目下查看服务器上的硬盘，确定待拔出NVMe硬盘槽位信息。下方示例中获取到该NVMe硬盘的槽位信息为PCIe Slot 55，即PCIe槽位号为slot 55，如图4-2中红框所示。
图4-2 查看待拔出NVMe硬盘槽位信息
(4) 根据获取到的PCIe槽位号，确定硬盘PCIe槽位号对应的物理槽位号。登录HDM Web，如图4-3中①所示，选择[存储管理/物理视图]，确认硬盘PCIe槽位号Slot 55对应的物理槽位号为Rear slot 5。
图4-3 HDM Web下确认待拔出的NVMe硬盘的物理槽位
不同版本的HDM Web选项可能会有所不同，但是查看NVMe硬盘信息的方法类似，具体请以软件实际界面为准。
(5) 根据HDM Web获取到的物理槽位号Rear slot 5，查询服务器用户指南附录《硬盘槽位号对应关系表》，对应的后部硬盘槽位号丝印为55，如图4-4和图4-5所示。
(6) 在HDM Web界面中，开启[定位灯状态]选项，如图4-3中②所示。此时该NVMe硬盘的Fault/UID指示灯蓝色常亮，定位硬盘实际槽位。
(7) 拆卸NVMe硬盘。
· 本文以一款服务器为例，介绍NVMe硬盘的拆卸方法。
· 请勿频繁插拔硬盘。如果硬盘被频繁插拔，且插拔时间间隔小于30秒，被插拔槽位的硬盘存在无法被识别的风险。
· 不支持多块硬盘同时拔出，否则有可能导致系统异常。请按顺序拆卸NVMe硬盘，完全拆卸完1块NVMe硬盘后再拆卸其他硬盘。
a. 如图4-6中①所示，按下硬盘面板按钮，硬盘扳手会自动打开。
b. 如图4-6中②所示，从硬盘槽位中拔出硬盘。
c. 拆卸硬盘支架。如图4-7所示，移除硬盘支架上的所有固定螺钉，并将硬盘从硬盘支架上移除。
d. 将拆卸下来的硬盘放入防静电包装袋中。
禁止将两个及以上的部件放入同一个防静电包装袋。
(1) 确定待拔出NVMe硬盘的盘符。如图4-8所示，打开操作系统命令终端，执行命令lsblk |grep nvme，查看服务器上的NVMe硬盘的盘符。
本文以盘符为nvme2n1的硬盘为例进行操作。
图4-8 查看NVMe硬盘的盘符
(2) 停止待拔出的NVMe硬盘业务。
(3) 备份待拔出的NVMe硬盘数据。
(4) 执行命令df -h，查看待拔出的NVMe硬盘挂载情况。如图4-9红框所示，硬盘nvme2n1当前为已挂载状态。
图4-9 查看待拔出的NVMe硬盘的挂载情况
(5) 执行命令umount /dev/nvme2n1，将硬盘解除挂载。如图4-10所示，将NVMe硬盘nvme2n1解除挂载。
(6) 执行命令df -h，确认待拔出的NVMe硬盘nvme2n1已解除挂载，如图4-11所示。
图4-11 确认NVMe硬盘nvme2n1已解除挂载
(7) 确定待拔出NVMe硬盘在服务器中的位置。
a. 确定操作系统下盘符对应的BUS number。执行命令find /sys/devices -iname nvme2n1，如图4-12所示，确认硬盘nvme2n1对应的BUS number为10000:04:00.0。
b. 确定硬盘BUS number对应的PCIe槽位号。执行命令lspci -vvs 10000:04:00.0，如图4-13所示，确认硬盘nvme2n1对应的PCIe槽位号为109。
图4-13 确定硬盘BUS number对应的PCIe槽位号
c. 确定硬盘PCIe槽位号对应的物理槽位号。登录HDM Web，如图4-14所示，选择[存储管理/物理视图]，确认硬盘PCIe槽位号Slot 109对应的物理槽位号为Front slot 9。
图4-14 确定硬盘PCIe槽位号对应的物理槽位号
d. 根据HDM Web获取到的物理槽位号Front slot 9，查询服务器用户指南附录《硬盘槽位号对应关系表》，对应的硬盘槽位号丝印为9，即定位至硬盘编号为9的槽位，如图3-25和图3-26所示。
图4-15 查询服务器硬盘槽位号对应关系表
图4-16 定位至硬盘编号为9的槽位
(8) 拆卸NVMe硬盘，详细操作方法请参见4.2.1 Windows操作系统中的步骤(7)。
(1) 安装NVMe硬盘。
· 不同服务器NVMe硬盘的安装方法类似，本文以一款服务器为例，介绍NVMe硬盘的安装方法。
· 不支持多块硬盘同时安装，否则有可能导致系统异常。请按顺序安装NVMe硬盘，完全安装完1块NVMe硬盘，且NVMe硬盘信息完全被操作系统识别后再安装其他硬盘。
· 安装时，请匀速插入NVMe硬盘，过程中请勿停顿，否则容易导致操作系统卡死或重启。
· 请勿频繁插拔硬盘。如果硬盘被频繁插拔，且插拔时间间隔小于30秒，被插拔槽位的硬盘存在无法识别的风险。
a. 安装硬盘到硬盘支架。如图4-17所示，先将四颗固定螺钉固定到四个螺孔中，然后依次拧紧螺钉。
b. 如图4-18所示，按下硬盘面板按钮，硬盘扳手会自动打开。
c. 如图4-19中①所示，将硬盘推入槽位，直到推不动为止。
d. 如图4-19中②所示，合上硬盘扳手，直到听见咔哒一声。
(2) 观察硬盘指示灯的最终状态，Present/Active指示灯显示为绿色常亮且Fault/UID指示灯熄灭，表示NVMe硬盘在位且无故障。
(3) 在操作系统中查看新安装的NVMe硬盘工作状态，以确保NVMe硬盘安装成功。进入操作系统后，打开服务器设备管理器“Device Manager”，在[Disk drivers]栏目下查看NVMe硬盘列表的数量是否新增、新硬盘信息与实际信息是否相符。
图4-20 NVMe硬盘安装成功（Windows操作系统）
(1) 安装NVMe硬盘，详细操作方法请参见4.3.1 Windows操作系统中的步骤(1)。
(2) 观察硬盘指示灯的最终状态，Present/Active指示灯显示为绿色常亮且Fault/UID指示灯熄灭，表示NVMe硬盘在位且无故障。
(3) 在操作系统命令终端，执行命令lspci -vvs，确认新安装的NVMe硬盘已被系统识别。如图4-21所示，执行命令lspci -vvs 10000:04:00.0，查看到已有BUS number为10000:04:00.0的硬盘信息，即槽位上的硬盘已被系统识别。BUS number的获取方法请参见4.2.2 Linux操作系统中的步骤(7)。
图4-21 操作系统下通过lspci命令确认NVMe硬盘已被系统识别
(4) 在操作系统命令终端查看新安装的NVMe硬盘盘符信息。如图3-54所示，执行命令lsblk，查看到已有盘符为nvme2n1的硬盘，证明新硬盘已成功安装。
图4-22 操作系统下通过lsblk命令确认新安装硬盘安装成功
图5-1 预知性热插拔方式更换NVMe硬盘流程图
(1) 停止待拔出的NVMe硬盘业务。
(2) 备份待拔出的NVMe硬盘数据。
(3) 打开工具Intel®Virtual RAID on CPU，查看服务器上的NVMe硬盘，详细操作方法请参见3.2.1 2. 操作步骤中的步骤(3)。
(4) 确定待拔出NVMe硬盘的规格信息，详细操作方法请参见3.2.1 2. 操作步骤中的步骤(4)。
(5) （可选）如果待拔出的NVMe硬盘为RAID成员盘且已配置热备功能，请先判断RAID重建是否完成，详细操作方法请参见3.2.1 2. 操作步骤中的步骤(5)。
(6) 为待拔出的NVMe硬盘点灯。如图5-2中①所示，单击“Activate LED”，为NVMe硬盘点灯，此时硬盘Fault/UID指示灯变为蓝灯常亮10s，Present/Active指示灯变为绿灯常亮。
硬盘Fault/UID指示灯蓝灯常亮10s后，会自动熄灭。
(7) 卸载硬盘。如图5-2中②所示，单击“Remove Disk”，卸载硬盘。
图5-2 卸载NVMe硬盘
(8) 观察NVMe硬盘指示灯。如果硬盘Fault/UID指示灯变为蓝灯常亮，Present/Active指示灯为绿灯常亮，并且待拔出的NVMe硬盘已从工具Intel®Virtual RAID on CPU的设备管理列表中消失，即可拔出NVMe硬盘。
(9) 拆卸NVMe硬盘，详细操作方法请参见3.2.1 2. 操作步骤中的步骤(7)。
本文以Microsoft Windows Server 2019操作系统、PCIe槽位号为106的NVMe硬盘为例进行操作。
(1) 停止待拔出的NVMe硬盘业务。
(2) 备份待拔出的NVMe硬盘数据。
(3) 在操作系统下，单击菜单栏中的
图标，选择[Open Device and Printers]选项，查看服务器上的所有NVMe硬盘设备，如图5-3和图5-4所示。
图5-3 选择[Open Device and Printers]选项
不同操作系统下的
图标样式可能会有所不同，但是查看NVMe硬盘设备的方法类似，具体请以实际为准。
(4) 打开硬盘的[Properties/Hardware]选项卡，确定待拔出的NVMe硬盘槽位信息。如图5-5中红框所示，获取该NVMe硬盘的槽位信息为PCIe Slot 106，即PCIe槽位号为slot 106。
图5-5 确定待拔出的NVMe硬盘槽位信息
(5) 根据获取到的PCIe槽位号，确定硬盘PCIe槽位号对应的物理槽位号。登录HDM Web，如图5-6中①所示，选择[存储管理/物理视图]，确认硬盘PCIe槽位号Slot 106对应的物理槽位号为Front slot 6。
图5-6 确定硬盘PCIe槽位号对应的物理槽位号
不同版本的HDM Web选项可能会有所不同，但是查看NVMe硬盘信息的方法类似，具体请以软件实际界面为准。
(6) 根据HDM Web获取到的物理槽位号Front slot 6，查询服务器用户指南附录《硬盘槽位号对应关系表》，对应的硬盘槽位号丝印为6，如图5-7和图5-8所示。
(7) 右键点击待拔出的NVMe硬盘，选择[Remove device]选项，移除待拔出的NVMe硬盘，如图5-9所示，此时该NVMe硬盘的Fault/UID指示灯橙灯闪烁，Present/Active指示灯熄灭。
(8) 拆卸NVMe硬盘，详细操作方法请参见3.2.1 2. 操作步骤中的步骤(7)。
本文以盘符为nvme2n1的硬盘为例进行操作。
(1) 确定待拔出NVMe硬盘的盘符，详细操作方法请参见3.2.2 Linux操作系统（VMD状态为Auto/Enabled）中的步骤(1)。
(2) 停止待拔出的NVMe硬盘的业务。
(3) 请根据待拔出的NVMe硬盘实际情况进行以下操作：
· 如果待拔出的NVMe硬盘为直通盘，请先查看待拔出NVMe硬盘的挂载情况。若NVMe硬盘已挂载，请务必先将其解除挂载。详细操作方法请参见3.2.2 Linux操作系统（VMD状态为Auto/Enabled）中的步骤(4)。
· 如果待拔出的NVMe硬盘为RAID成员盘且已配置热备功能，请先判断RAID重建是否完成，详细操作方法请参见3.2.2 Linux操作系统（VMD状态为Auto/Enabled）中的步骤(4)。
· 如果待拔出的NVMe硬盘为RAID成员盘且未配置热备盘，请务必先将其解除挂载。详细操作方法请参见3.2.2 Linux操作系统（VMD状态为Auto/Enabled）中的步骤(4)。
(4) （可选）在定位至待拔出的NVMe硬盘之前，部分Linux操作系统需先开启ledmon.service服务。
· 对于RHEL7.6、RHEL8.0、SUSE15、SUSE15SP1、SUSE12SP4操作系统，需要先手动创建ledmon.service服务，具体步骤如下：
a. 在/usr/lib/systemd/system目录下创建文件。执行命令vim /usr/lib/systemd/system/ledmon.service，创建文件，如图5-10所示。
b. 在ledmon.service文件中配置文件，如图5-11所示。
图5-11 在ledmon.service文件中配置文件
c. 在操作系统下开启ledmon.service服务，如图5-12所示。
图5-12 在操作系统下开启ledmon.service服务
RHEL8.2操作系统默认未开启ledmon.service服务，需手动开启该服务，操作步骤如c所示。
· 对于Ubuntu Server 20.04、Ubuntu Server 20.04.1、Ubuntu Server 20.04.2操作系统，需要先在操作系统下安装ledmon驱动，再开启ledmon.service服务，具体步骤如下：
a. 安装工具包。执行命令#apt install pkg-config automake autoconf gcc make，安装工具包pkg-config、automake、autoconf、gcc、make，如图5-13所示。
图5-13 安装工具包pkg-config、automake、autoconf、gcc、make
b. 安装依赖包。执行以下命令，分别安装依赖包libsgutils2-dev、libudev-dev、libpci-dev。由于安装步骤类似，本文以libsgutils2-dev为例，如图5-14所示。
- #apt install libsgutils2-dev
- #apt install libudev-dev
- #apt install libpci-dev
c. 将下载好的ledmon驱动源码包解压后放入操作系统目标路径下，本文设置ledmon-master为目标路径。执行命令#cd ledmon-master，进入目标路径，如图5-15所示。
图5-15 进入ledmon源码包目标路径
ledmon驱动源码包可从github网站进行下载：https://github.com/intel/ledmon。
d. 在目标路径下，执行命令# ./autogen.sh，安装脚本autogen.sh，如图5-16所示。
e. 在目标路径下，执行命令# ./configure - -enable-systemd，安装脚本configure - -enable-systemd，如图5-17所示。
图5-17 安装脚本configure - -enable-systemd
f. 在目标路径下，执行命令#make，编译ledmon源码包，如图5-18所示。
g. 在目标路径下，执行命令#make install，安装ledmon驱动，如图5-19所示。
h. 在操作系统下开启ledmon.service服务，如图5-20所示。
图5-20 在操作系统下开启ledmon.service服务
a. 卸载硬盘。执行命令echo 1 > /sys/block/nvme2n1/device/device/remove，卸载硬盘nvme2n1。
图5-21 卸载硬盘
b. 验证硬盘是否卸载成功。执行命令lsblk，查看硬盘nvme2n1已经不显示，即卸载成功。
图5-22 验证硬盘卸载成功
(6) 观察NVMe硬盘指示灯。如果NVMe硬盘的Fault/UID指示灯变为橙色常亮且Present/Active指示灯为绿灯常亮，即可拔出硬盘nvme2n1。
(7) 拆卸NVMe硬盘，详细操作方法请参见3.2.1 2. 操作步骤中的步骤(7)。
本文以盘符为nvme2n1的硬盘为例进行操作。
(1) 确定待拔出NVMe硬盘的盘符，详细操作方法请参见3.2.3 2. 操作步骤中的步骤(1)。
(2) 停止待拔出的NVMe硬盘的业务。
(3) 查看待拔出NVMe硬盘此时的挂载情况，若NVMe硬盘已挂载，请务必先将其解除挂载，详细操作方法请参见3.2.3 2. 操作步骤中的步骤(4)。
(4) 确定待拔出NVMe硬盘的PCIe槽位号及服务器中的位置，详细操作方法请参见3.2.3 2. 操作步骤中的步骤(5)。
(5) 卸载硬盘并验证是否卸载成功。
a. 卸载硬盘。执行命令echo 0 > /sys/bus/pci/slots/106/power，卸载硬盘nvme2n1。
图5-23 卸载硬盘
b. 验证硬盘是否卸载成功。执行命令lsblk，查看硬盘nvme2n1已经不显示，即卸载成功。
图5-24 验证硬盘卸载成功
(6) 观察NVMe硬盘指示灯。如果NVMe硬盘的Fault/UID指示灯变为橙色闪烁且Present/Active指示灯熄灭，即可拔出硬盘nvme2n1。
(7) 拆卸NVMe硬盘，详细操作方法请参见3.2.1 2. 操作步骤中的步骤(7)。
请参见3.3.1 Windows操作系统。
(1) 安装NVMe硬盘，详细操作方法请参见3.3.1 Windows操作系统中的步骤(1)。
(2) 观察硬盘指示灯的最终状态，Present/Active指示灯显示为绿色常亮且Fault/UID指示灯熄灭，表示NVMe硬盘在位且无故障。
(3) 在操作系统中查看新安装的NVMe硬盘工作状态。在操作系统下，单击菜单栏中的
图标，选择[Open Device and Printers]选项，通过新插入的NVMe硬盘PCIe槽位号，以确保NVMe硬盘已安装成功，如图5-25所示。
图5-25 NVMe硬盘安装成功（VMD状态为Disabled）
(1) 安装NVMe硬盘，详细操作方法请参见3.3.1 Windows操作系统中的步骤(1)。
(2) 观察硬盘指示灯的最终状态，Present/Active指示灯显示为绿色常亮且Fault/UID指示灯熄灭，表示NVMe硬盘在位且无故障。
(3) 在操作系统中查看新安装的NVMe硬盘工作状态，以确保NVMe硬盘安装成功。在操作系统命令终端，执行命令lsblk，查看NVMe硬盘信息。如图5-26所示，执行命令lsblk，查看到已有盘符为nvme2n1的硬盘，即硬盘已经安装成功。
图5-26 操作系统下通过lsblk命令确认NVMe硬盘安装成功
Intel® VMD技术，全名Intel® Volume Management Device，中文译为英特尔®卷管理设备技术，可在BIOS下进行功能状态切换。VMD功能包括三种状态：Auto、Enabled、Disabled
· Auto：表示当POST阶段检测到此栈上有设备接入时，系统将自动启用VMD技术；
· Enabled：启用VMD技术。当选择此项时，将显示更加细致的配置选项；
· Disabled：禁用VMD技术。Advanced > Socket Configuration
不同版本BIOS下的选项可能会有所不同，但选项含义及操作方法类似，具体请以实际界面为准。
以G3产品Purlry平台的BIOS为例，用户可以在进入BIOS后选择BIOS Setup > Socket Configuration > IIO Configuration > Intel® VMD technology > Intel@ VMD for Volume Management Device on Processor X页签，对任意CPU PStack的VMD功能状态进行切换，如图6-1、图6-2所示。
图6-1 选择CPU 1的VMD配置
图6-2 切换VMD功能状态
在开启了VMD功能后，用户可以对所有的PStack下的端口进行单独设置。以CPU1的PStack0为例，在将[Intel® VMD for Volume Management]选项设置为[Enabled]，即VMD功能开启后，将显示具体的菜单。在该菜单下，用户可以对PStack0下的所有端口单独进行设置，该PStack下含有4个端口：VMD port 1A、VMD port 1B、VMD port 1C、VMD port 1D，如图6-3所示。
图6-3 VMD功能开启后，CPU1 PStack0显示的菜单
VMD port对应服务器PCIe链路的不同端口，不同型号的服务器其对应情况可能存在差异，具体请联系技术支持获取。
为开启NVMe硬盘的预知性热插拔/热插拔功能，请执行下列操作步骤：
(1) 请在图6-3所示界面下，确保所有的[VMD port xx]及[Hot Plug Capable]选项已设置为[Enabled]，如图6-4所示。
图6-4 将[VMD port xx]及[Hot Plug Capable]选项设置为[Enabled]
(2) 进入BIOS Setup > Socket Configuration > IIO Configuration页签，按下[Ctrl+Shift+P]组合键打开IIO Configuration页签下的隐藏菜单，确认[PCIe Hot plug]选项已设置为[Enabled]，如所示。该选项缺省状态为[Enabled]。
图6-5 IIO Configuration页签下的隐藏菜单
· 如果拔出的NVMe硬盘是直通盘，新硬盘安装后，新安装的硬盘仍作为直通盘。
· 如下情况，如有需要，请重新配置RAID。RAID的配置方法请参见存储控制卡用户指南。
¡ 如果拔出的NVMe硬盘是无冗余功能的RAID成员盘，新硬盘安装后，新安装的硬盘直接作为直通盘。
¡ 如果拔出的NVMe硬盘是具有冗余功能的RAID成员盘，未配置热备盘且未开启RAID重建功能，新硬盘安装后，新安装的硬盘直接作为直通盘。
¡ 如果拔出的NVMe硬盘是具有冗余功能的RAID成员盘，且已配置热备盘，新硬盘安装后，新安装的硬盘直接作为直通盘。
如果拔出的NVMe硬盘是具有冗余功能的RAID成员盘，
· 若该RAID配置了热备盘且已开启RAID重建功能，则在拔出旧硬盘前，请等待RAID重建完成。
· 若该RAID未配置热备盘且已开启RAID重建功能，则新硬盘安装后，存储控制卡会自动进行RAID重建。
不同操作系统下，查看并确认RAID重建完成的操作方法不同。
存储控制卡是否支持的RAID重建功能，以及该功能缺省是否开启，不同型号的存储控制卡，支持情况不同，详细信息请参见存储控制卡用户指南。
安装的新硬盘容量需要大于或等于该RAID下单个成员盘的最小容量。
请通过工具Intel®Virtual RAID on CPU，查看RAID重建是否完成。
图6-6 Windows操作系统下RAID重建完成
图6-7 Windows操作系统下RAID重建中
(1) 请等待RAID重建完成再拔出旧硬盘，具体请参见3.2.2 Linux操作系统中的步骤(4)。
(2) 安装新硬盘后，观察此时硬盘指示灯为Present/Active指示灯绿灯和Fault/UID指示灯橙灯常亮，此时新硬盘将作为直通盘使用。
(3) 执行命令ledctl off=/dev/<新插入的硬盘名>，手动关闭新硬盘Fault/UID橙色指示灯，如图6-8所示。
(4) （可选）执行命令mdadm -a /dev/<容器名> /dev/<新插入的硬盘名>，将新硬盘加入原RAID所属容器中，新硬盘将作为热备盘使用。
(1) 新硬盘安装后，此时指示灯状态为：Present/Active指示灯绿灯和Fault/UID指示灯橙灯常亮。在RAID重建之前，必须手动将新硬盘加入至容器中。通过命令mdadm -a /dev/<容器名> /dev/新插入的硬盘名，将新安装硬盘加入至该容器中，存储控制卡将会自动进行RAID重建。
(2) 执行命令cat /proc/mdstat，查看RAID重建是否完成。
图6-9 Linux操作系统下RAID重建完成
图6-10 Linux操作系统下RAID重建中
(3) RAID重建完成后，观察新安装硬盘指示灯，此时应为Fault/UID指示灯橙灯熄灭，Present/Active指示灯绿灯常亮。
支持
售前咨询
售后咨询
人工在线咨询
