H3C服务器

故障处理手册

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

资料版本：6W114-20240322

 

目  录

1 安全··· 1-1

1.1 安全信息·· 1-1

1.1.1 运行安全·· 1-1

1.1.2 电气安全·· 1-1

1.1.3 电池安全·· 1-1

1.2 安全注意事项·· 1-2

1.3 静电防护·· 1-2

1.3.1 防止静电释放·· 1-2

1.3.2 防止静电释放的接地方法·· 1-2

1.4 设备标识·· 1-3

2 适用产品··· 2-1

3 故障处理流程··· 3-1

4 故障诊断前的准备工作··· 4-1

4.1 熟悉产品信息·· 4-1

4.2 准备软件工具·· 4-1

4.2.1 远程维护工具·· 4-1

4.2.2 阵列诊断工具·· 4-2

4.3 收集故障的症状信息·· 4-3

4.3.1 收集基本信息·· 4-3

4.3.2 对照故障信息检查清单自检·· 4-6

4.4 明确服务器最小化硬件配置·· 4-7

5 收集故障相关信息··· 5-1

5.1 准备硬件工具·· 5-1

5.2 收集操作系统日志·· 5-3

5.3 收集HDM SDS日志·· 5-4

5.4 收集HDM录屏信息·· 5-5

5.5 收集存储控制卡阵列配置信息（OS内）·· 5-6

5.5.1 PMC存储控制卡·· 5-6

5.5.2 LSI存储控制卡·· 5-10

5.6 收集存储控制卡阵列配置信息（OS外）·· 5-13

5.6.1 通过HDM收集（LSI存储控制卡）·· 5-13

5.6.2 通过BIOS收集（PMC存储控制卡）·· 5-14

5.6.3 通过BIOS收集（LSI存储控制卡）·· 5-20

5.7 收集存储控制卡阵列日志（OS内）·· 5-26

5.7.1 PMC存储控制卡·· 5-26

5.7.2 LSI存储控制卡·· 5-27

5.8 收集FC HBA卡日志·· 5-28

5.8.1 收集Qlogic FC HBA卡日志·· 5-28

5.8.2 收集Emulex FC HBA卡日志·· 5-30

5.9 收集GPU相关日志·· 5-45

5.9.1 常见的GPU故障收集方式·· 5-45

5.9.2 PCIe GPU FieldDiag现场诊断工具使用方法·· 5-46

5.9.3 HGX GPU FieldDiag现场诊断工具使用方法·· 5-48

5.10 收集网卡相关日志·· 5-50

5.10.1 Intel网卡日志收集·· 5-50

5.10.2 Mellanox网卡日志收集·· 5-55

5.10.3 BroadCom网卡日志收集·· 5-59

5.10.4 通用网卡日志收集·· 5-61

6 故障诊断定位··· 6-1

6.1 诊断原则·· 6-1

6.2 诊断通用思路·· 6-1

6.3 故障定位·· 6-3

6.3.1 通过指示灯定位故障·· 6-3

6.3.2 通过同时闪烁的挂耳指示灯定位故障·· 6-8

6.3.3 通过诊断面板上的故障代码定位故障·· 6-8

6.3.4 通过LCD可触摸智能管理模块定位故障·· 6-9

6.3.5 通过智能安全面板上的指示灯定位故障·· 6-10

6.4 故障诊断流程图·· 6-11

6.4.1 故障诊断流程图使用场景·· 6-11

6.4.2 通用诊断流程图·· 6-12

6.4.3 服务器硬件故障指示流程图·· 6-13

6.4.4 远程诊断流程图·· 6-15

6.4.5 开机故障流程图·· 6-15

6.4.6 POST故障流程图·· 6-16

6.4.7 操作系统引导故障流程图·· 6-18

6.4.8 iFIST故障流程图·· 6-19

6.4.9 存储控制卡故障流程图·· 6-21

6.4.10 存储控制卡的超级电容故障流程图·· 6-23

6.4.11 物理硬盘故障流程图·· 6-24

6.4.12 逻辑硬盘故障流程图·· 6-27

6.4.13 网卡故障流程图·· 6-28

6.4.14 GPU故障诊断流程图·· 6-30

6.4.15 串口&DSD模块故障诊断流程图·· 6-31

7 硬件类问题··· 7-1

7.1 常见硬件问题·· 7-1

7.1.1 新部件问题·· 7-1

7.1.2 第三方部件问题·· 7-1

7.1.3 部件/线缆连接松动·· 7-2

7.1.4 服务器自动关机·· 7-4

7.2 指示灯问题·· 7-5

7.2.1 指示灯不亮·· 7-5

7.2.2 Health指示灯闪烁告警·· 7-6

7.2.3 风扇故障导致Health指示灯闪烁·· 7-7

7.2.4 风扇指示灯闪烁·· 7-7

7.3 电源问题·· 7-8

7.3.1 电源模块状态指示灯灭·· 7-8

7.3.2 电源模块状态指示灯橙灯常亮或橙灯闪烁·· 7-9

7.3.3 电源模块状态指示灯绿色闪烁，服务器无法启动·· 7-10

7.3.4 电源模块风扇转速过快，噪声过大·· 7-10

7.3.5 HDM事件日志提示电源输入异常·· 7-11

7.3.6 HDM事件日志提示电源模块输入正常，输出异常·· 7-12

7.3.7 HDM事件日志提示电源模块冗余丢失·· 7-13

7.3.8 HDM事件日志提示电源模块“Vendor mismatch” 7-14

7.4 POST阶段问题·· 7-16

7.4.1 上电后显示No Signal 7-16

7.4.2 Early POST阶段挂死（不适用于Hygon CPU的服务器）·· 7-18

7.4.3 POST阶段挂死·· 7-19

7.4.4 POST阶段出现红屏异常信息打印·· 7-19

7.4.5 存储控制卡自检时卡住·· 7-20

7.5 PXE启动问题·· 7-21

7.5.1 PXE启动失败·· 7-21

7.5.2 PXE启动黑屏或打印错误信息，无法进入PXE环境·· 7-22

7.5.3 进入PXE环境后无法安装系统或安装过程中报错·· 7-28

7.6 硬盘问题·· 7-28

7.6.1 HDM提示硬盘Drive Fault或Offline告警·· 7-29

7.6.2 HDM存储管理界面中全部硬盘无法识别·· 7-31

7.6.3 操作系统日志上报硬盘故障·· 7-32

7.6.4 操作系统无法识别硬盘·· 7-34

7.6.5 部分linux系统下发预知性移除NVMe命令时，硬盘Fault/UID指示灯橙灯不亮·· 7-35

7.6.6 部分linux系统下发点灯命令时，硬盘Fault/UID指示灯蓝灯亮，热拔插硬盘后蓝灯不灭·· 7-35

7.6.7 RHEL8.2系统下发点灯命令时，硬盘Fault/UID指示灯不亮·· 7-36

7.6.8 Ubuntu系统对下发点灯/预知性命令操作时，硬盘Fault/UID指示灯不亮·· 7-36

7.6.9 硬盘Fault/UID指示灯橙灯常亮或者闪烁·· 7-37

7.6.10 SSD硬盘达到使用寿命问题·· 7-37

7.6.11 PCH下无法识别SSD·· 7-38

7.6.12 HDM界面NVMe硬盘状态异常·· 7-38

7.6.13 安装全新NVMe硬盘无法识别·· 7-39

7.6.14 NVMe硬盘故障·· 7-41

7.6.15 硬盘中的数据无法访问·· 7-43

7.7 存储控制卡问题·· 7-44

7.7.1 更换存储控制卡注意事项·· 7-44

7.7.2 逻辑盘写缓存策略由Write Back变为Write Through· 7-44

7.7.3 PMC存储控制卡组建的逻辑盘状态为Not be Available· 7-45

7.7.4 Arcconf工具无法识别P460/H460系列存储控制卡·· 7-46

7.7.5 P460/H460系列存储控制卡的产品型号显示与实际不符·· 7-47

7.7.6 P430系列存储控制卡下逻辑盘中的成员盘出现蓝橙灯交替闪烁·· 7-47

7.7.7 存储控制卡在Legacy BIOS模式初始化阶段卡死·· 7-48

7.7.8 LSI存储控制卡切换至JBOD模式，操作系统安装过程中无法识别硬盘·· 7-49

7.7.9 Windows下手动更新LSI存储控制卡的驱动时提示驱动不适用·· 7-50

7.7.10 更换成员盘后，逻辑盘重建失败·· 7-51

7.7.11 更换存储控制卡后，原硬盘数据不可用·· 7-53

7.7.12 逻辑盘降级·· 7-53

7.7.13 逻辑盘故障·· 7-56

7.8 存储控制卡的超级电容问题·· 7-56

7.8.1 超级电容长期搁置后电量耗尽·· 7-56

7.8.2 超级电容配置错误·· 7-57

7.8.3 超级电容影响逻辑盘写缓存策略·· 7-58

7.9 风扇和散热问题·· 7-59

7.9.1 多个风扇噪音过大（高速）·· 7-59

7.9.2 风扇噪音太大（低速）·· 7-62

7.9.3 单个风扇接近全速转·· 7-62

7.9.4 所有在位风扇全速转·· 7-63

7.9.5 更换风扇后出现故障·· 7-65

7.9.6 温度过高导致服务器自动关机·· 7-65

7.9.7 液冷机型冷板告警·· 7-67

7.10 DRAM内存问题·· 7-69

7.10.1 内存安装准则·· 7-69

7.10.2 内存安装位置错误告警·· 7-69

7.10.3 内存模式降级·· 7-70

7.10.4 POST检测到无可用内存（仅适用于Intel CPU的服务器）·· 7-73

7.10.5 POST检测到内存被禁用·· 7-74

7.10.6 POST检测到Training错误·· 7-76

7.10.7 POST检测到内存兼容性错误·· 7-78

7.10.8 内存出现可纠正错误·· 7-79

7.10.9 内存出现不可纠正错误·· 7-79

7.10.10 内存防伪认证失败·· 7-80

7.10.11 系统内存容量小于安装的物理内存容量·· 7-81

7.11 PMem内存问题(仅适用于Intel CPU的服务器) 7-83

7.11.1 PMem安装准则·· 7-83

7.11.2 PMem安装错误·· 7-83

7.11.3 已禁用PMem·· 7-85

7.11.4 操作系统中不显示PMem·· 7-86

7.12 CPU问题·· 7-86

7.12.1 CPU安装准则·· 7-86

7.12.2 CPU Configuration Error（仅适用于Intel CPU的服务器）·· 7-87

7.12.3 CPU出现MCA告警（仅适用于Intel CPU的服务器）·· 7-88

7.12.4 CPU出现MCA告警（仅适用于AMD CPU和Hygon CPU的服务器）·· 7-89

7.12.5 CPU温度过高告警·· 7-90

7.12.6 服务器启动进程挂死在UPI初始阶段（仅适用于Intel CPU的服务器）·· 7-90

7.12.7 系统空载时CPU负载率较高·· 7-91

7.12.8 CPU安全漏洞问题·· 7-93

7.13 加密模块问题·· 7-93

7.13.1 TPM/TCM发生故障或系统识别不到TPM/TCM·· 7-93

7.14 系统电池问题·· 7-95

7.14.1 系统电池电量不足或耗尽·· 7-95

7.15 主板问题·· 7-95

7.15.1 主板故障·· 7-95

7.16 硬盘背板问题·· 7-96

7.16.1 硬盘无法被识别·· 7-96

7.17 智能挂耳问题·· 7-97

7.17.1 无法识别通过智能挂耳连接的设备·· 7-97

7.18 SD卡问题·· 7-99

7.18.1 SD卡无法被识别·· 7-99

7.18.2 操作系统无法从SD卡引导·· 7-101

7.19 USB设备问题·· 7-103

7.19.1 USB设备无法被识别·· 7-103

7.19.2 操作系统无法从U盘引导·· 7-104

7.20 光驱问题·· 7-107

7.20.1 SATA光驱无法被识别·· 7-107

7.20.2 SATA光驱无法被识别（仅适用于AMD CPU和Hygon CPU的服务器）·· 7-108

7.21 GPU卡问题·· 7-109

7.21.1 GPU卡无法识别·· 7-109

7.21.2 图形未按预期显示·· 7-111

7.21.3 虚拟化业务场景下HDM出现GPU UCE故障·· 7-112

7.21.4 客户自采购GPU不识别问题·· 7-113

7.22 屏幕显示问题·· 7-114

7.22.1 服务器上电后屏幕黑屏超过60秒·· 7-114

7.22.2 服务器上电启动黑屏·· 7-115

7.22.3 显示器运行黑屏·· 7-115

7.22.4 显示器显示异常·· 7-116

7.22.5 显示器颜色不正常·· 7-116

7.22.6 显示器上出现移动的水平线·· 7-117

7.23 鼠标和键盘问题·· 7-117

7.23.1 操作系统无法识别鼠标或键盘·· 7-117

7.24 网卡问题·· 7-118

7.24.1 新安装的网卡无法正常工作·· 7-118

7.24.2 网卡端口不可见·· 7-120

7.24.3 网卡端口不通·· 7-122

7.24.4 网卡端口丢包/错包·· 7-124

7.24.5 网卡性能不达标·· 7-125

7.24.6 mLOM网卡故障·· 7-127

7.24.7 mLOM网卡可以识别但网络不通·· 7-128

7.24.8 FEC模式不一致导致网卡端口不通·· 7-128

7.25 FC HBA卡问题·· 7-134

7.25.1 存储设备无法识别FC HBA卡端口的WWPN· 7-134

7.25.2 存储设备已经识别FC HBA卡的端口WWPN但服务器端无法识别到LUN· 7-137

7.25.3 存储设备LUN多路径链路部分丢失·· 7-139

7.25.4 存储设备LUN读写性能低·· 7-140

7.26 PCIe卡问题·· 7-142

7.26.1 PCIe卡在BIOS下无法识别·· 7-142

7.26.2 PCIe卡故障报错·· 7-150

7.26.3 PCIe卡协商速率降速或协商带宽降低·· 7-151

7.27 线缆问题·· 7-153

7.27.1 线缆安装注意事项·· 7-153

7.27.2 多块连续硬盘报硬盘故障·· 7-154

8 软件类问题··· 8-1

8.1 操作系统问题·· 8-1

8.1.1 选择服务器兼容的操作系统·· 8-1

8.1.2 选择操作系统安装方式·· 8-1

8.1.3 操作系统安装时出错的问题·· 8-1

8.1.4 操作系统安装过程中出现硬盘识别问题·· 8-2

8.1.5 操作系统无法正常引导·· 8-4

8.1.6 操作系统启动时引导慢·· 8-6

8.1.7 操作系统下无法识别全部硬盘容量·· 8-6

8.1.8 操作系统运行过程中挂死·· 8-6

8.1.9 操作系统运行中出现异常重启·· 8-7

8.1.10 操作系统运行中操作系统日志中出现错误消息·· 8-7

8.1.11 安装应用程序或操作系统补丁后出现操作系统异常·· 8-8

8.1.12 更新操作系统·· 8-8

8.1.13 重新安装操作系统·· 8-8

8.2 应用软件类问题·· 8-9

8.2.1 软件僵死·· 8-9

8.2.2 更改软件设置后出错·· 8-10

8.2.3 安装新的应用程序后出错·· 8-10

8.3 BIOS问题·· 8-11

8.3.1 BIOS告警信息（适用于Intel CPU的服务器）·· 8-11

8.3.2 BIOS告警信息（适用于AMD CPU的服务器）·· 8-15

8.3.3 BIOS告警信息（适用于Hygon CPU的服务器）·· 8-17

8.4 HDM问题·· 8-17

8.4.1 固件镜像文件上传失败问题·· 8-17

8.4.2 HDM Web界面无法访问问题·· 8-18

8.4.3 配置文件导入失败问题·· 8-19

8.4.4 KVM链接无法打开问题·· 8-19

8.4.5 KVM使用异常问题·· 8-20

8.4.6 H5 KVM安装OS缓慢或失败·· 8-22

8.5 iFIST问题·· 8-24

8.5.1 服务器诊断时设备信息显示异常问题·· 8-24

8.5.2 服务器诊断功能无法诊断硬盘问题·· 8-24

8.5.3 iFIST启动失败问题·· 8-24

8.6 VROC问题·· 8-25

8.6.1 PCH板载软RAID中的逻辑盘数据丢失·· 8-25

8.6.2 操作系统无法识别PCH板载软RAID创建的逻辑盘·· 8-25

8.6.3 在板载NVMe RAID中将RAID1迁移至RAID5时迁移失败·· 8-26

8.6.4 RHEL系统下执行mdadm -C命令包含中括号[]时，无法正常识别双位盘序·· 8-26

8.6.5 在板载NVMe RAID中创建RAID失败·· 8-28

8.7 部件驱动和固件问题·· 8-28

9 版本升级··· 9-1

9.1 机架服务器版本升级配套资料·· 9-1

9.1.1 升级服务器的HDM和BIOS· 9-1

9.1.2 升级部件的驱动和固件·· 9-2

9.1.3 配套资料内容简介·· 9-2

10 软件和配置工具··· 10-1

10.1 H3C服务器软件关系·· 10-1

10.2 BIOS· 10-2

10.2.1 查看开机自检码·· 10-2

10.2.2 导出BIOS Setup配置·· 10-2

10.2.3 启动到UEFI Shell 10-3

10.2.4 获取BIOS日志·· 10-5

10.3 HDM·· 10-7

10.3.1 功能介绍·· 10-7

10.3.2 通过HDM远程维护·· 10-8

10.4 UniSystem·· 10-8

10.5 iFIST· 10-9

10.6 HDM Redfish API 10-9

10.7 HDM IPMI 10-9

10.8 Arcconf 10-10

10.8.1 工具简介·· 10-10

10.8.2 主要功能·· 10-10

10.8.3 指导文档·· 10-10

10.9 StorCLI 10-10

10.9.1 工具简介·· 10-10

10.9.2 主要功能·· 10-11

10.9.3 指导文档·· 10-11

11 故障诊断相关资源··· 11-1

11.1 产品安装资源·· 11-1

11.2 产品配置资源·· 11-1

11.3 信息查询工具资源·· 11-1

11.4 告警日志信息查询资源·· 11-1

11.5 驱动和固件下载资源·· 11-2

 

1 安全

1.1  安全信息

操作服务器之前，请仔细了解以下安全信息。

1.1.1  运行安全

·     H3C授权人员或专业的服务器工程师才能运行该服务器。

·     请将服务器放在干净、平稳的工作台或地面上进行维护。

·     运行服务器前，请确保所有线缆均连接正确。

·     为确保服务器充分散热，请遵循如下操作准则：

¡     请勿阻塞服务器的通风孔。

¡     服务器的空闲槽位必须安装假面板，比如硬盘、风扇、PCIe卡、OCP网卡、电源模块的槽位。

¡     机箱盖、导风罩、空闲槽位假面板不在位的情况下，请不要运行服务器。

¡     维护热插拔部件时，请最大限度地减少机箱盖打开的时间。

·     为避免组件表面过热造成人身伤害，请确保设备和内部系统组件冷却后再操作。

·     当服务器与其他设备上下叠加安装在机柜中时，请确保两个设备之间留出垂直方向2mm以上的空隙。

1.1.2  电气安全

 

·     为避免人身伤害或服务器损坏，请务必使用随产品包装附带的电源线缆。

·     电源线缆只能用于配套的服务器，请勿在其他设备上使用。

·     为避免触电风险，在安装或拆卸任何非热插拔部件时，请先将设备下电。

1.1.3  电池安全

服务器主板上配置有系统电池；一般情况下，电池寿命为3年～5年。

当服务器不再自动显示正确的日期和时间时，需更换电池。更换电池时，请注意以下安全措施：

·     请勿尝试给电池充电。

·     请勿将电池置于60°C以上的环境中。

·     请勿拆卸/碾压/刺穿电池、使电池外部触点短路或将其投入火中/水中。

·     请将电池弃于专门的电池处理点，勿随垃圾一起丢弃。

1.2  安全注意事项

 

为避免人身伤害或设备损坏，操作服务器时，还需注意以下事项：

·     服务器必须安装在标准19英寸机柜中。

·     机柜的支撑脚要完全触地，且机柜的全部重量应由支撑脚承担。

·     当有多个机柜时，请将机柜连接在一起。

·     请做好机柜安装的部署工作，将最重的设备安装在机柜底部。安装顺序为从机柜底部到顶部，即优先安装最重的设备。

·     将服务器安装到机柜或从机柜中拉出时（尤其当服务器脱离滑道时），要求四个人协同工作，以平稳抬起服务器。当安装位置高于胸部时，则可能需要第五个人帮助调整服务器的方位。

·     每次只能从机柜中拉出一台设备，否则会导致机柜不稳固。

·     将服务器从机柜中拉出或推入前，请确保机柜稳固。

·     为确保充分散热，请在未使用的机柜位置安装假面板。

1.3  静电防护

1.3.1  防止静电释放

人体或其它导体释放的静电可能会损坏主板和对静电敏感的部件，由静电造成的损坏会缩短主板和部件的使用寿命。

为避免静电损害，请注意以下事项：

·     在运输和存储设备时，请将部件装入防静电包装中。

·     将静电敏感部件送达不受静电影响的工作区前，请将它们放在防静电包装中保管。

·     先将部件放置在防静电工作台上，然后再将其从防静电包装中取出。

·     在没有防静电措施的情况下，请勿触摸组件上的插针、线缆和电路元器件等静电敏感元件。

1.3.2  防止静电释放的接地方法

在取放或安装部件时，用户可采取以下一种或多种接地方法以防止静电释放。

·     佩戴防静电腕带，并将腕带的另一端良好接地。请将腕带紧贴皮肤，且确保其能够灵活伸缩。

·     在工作区内，请穿上防静电服和防静电鞋，并佩戴防静电手套。

·     请使用导电的现场维修工具。

·     请使用防静电的可折叠工具垫和便携式现场维修工具包。

1.4  设备标识

为避免维护服务器过程中可能造成的任何伤害，请熟悉服务器上可能出现的安全标识。

表1-1 安全标识

图示	说明	警告
	该标识表示存在危险电路或触电危险。所有维修工作应由H3C授权人员或专业的服务器工程师完成。	为避免电击造成人身伤害，请勿打开符号标识部件。所有维护、升级和维修工作都应由H3C授权人员或专业的服务器工程师完成。
	该标识表示存在触电危险。不允许用户现场维修此部件。用户任何情况下都不能打开此部位。	为避免电击造成人身伤害，请勿打开符号标识部件。
	该标识出现在RJ45接口上，表示该接口用于网络连接。	为避免电击、起火或设备损坏，请勿将电话或电信设备接入该接口。
	该标识表示存在高温表面或组件。如果触摸该表面或组件，可能会造成人身伤害。	为避免组件表面过热造成人身伤害，请确保服务器和内部系统组件冷却后再操作。
	该标识表示组件过重，已超出单人安全取放的正常重量。	为避免人身伤害或设备损坏，请遵守当地关于职业健康与安全的要求，以及手动处理材料的指导。
	电源或系统上的这些标识表示服务器由多个电源模块供电。	为避免电击造成人身伤害，请先断开所有电源线缆，并确保服务器已完全断电。

2 适用产品

本手册主要适用于如下工程师：

·     现场技术支持与维护人员

·     负责服务器配置和维护的管理员

本手册适用于如下服务器。

·     H3C G6服务器

¡     H3C UniServer R3950 G6

¡     H3C UniServer R4300 G6

¡     H3C UniServer R4700 G6

¡     H3C UniServer R4700LE G6

¡     H3C UniServer R4900 G6

¡     H3C UniServer R4900 G6 Ultra

¡     H3C UniServer R4900LE G6 Ultra

¡     H3C UniServer R4950 G6

¡     H3C UniServer R5300 G6

¡     H3C UniServer R5350 G6

¡     H3C UniServer R5500 G6

¡     H3C UniServer R6700 G6

¡     H3C UniServer R6900 G6

·     H3C G5服务器

¡     H3C UniServer R4300 G5

¡     H3C UniServer R4330 G5

¡     H3C UniServer R4330 G5 H3

¡     H3C UniServer R4700 G5

¡     H3C UniServer R4700LC G5

¡     H3C UniServer R4900 G5

¡     H3C UniServer R4900LC G5

¡     H3C UniServer R4930 G5

¡     H3C UniServer R4930 G5 H3

¡     H3C UniServer R4930LC G5 H3

¡     H3C UniServer R4950 G5

¡     H3C UniServer R5300 G5

¡     H3C UniServer R5500 G5

¡     H3C UniServer R5500LC G5

¡     H3C UniServer R6900 G5

·     H3C G3服务器

¡     H3C UniServer R2700 G3

¡     H3C UniServer R2900 G3

¡     H3C UniServer R4300 G3

¡     H3C UniServer R4700 G3

¡     H3C UniServer R4900 G3

¡     H3C UniServer R5300 G3

¡     H3C UniServer R6700 G3

¡     H3C UniServer R6900 G3

¡     H3C UniServer R8900 G3

3 故障处理流程

 

本节主要介绍服务器故障处理的基本流程，包括故障处理准备、信息收集、诊断定位和故障处理等步骤。故障处理的指导思想是根据故障现象初步确定故障出现的所有可能的原因，并结合软硬件日志诊断及测试验证结果，最终找到问题根因，并采取对应措施解决问题。

图3-1 服务器故障处理流程

 

表3-1 故障处理流程说明

步骤	说明
准备工作	准备故障诊断和处理所需的软硬件工具和相关手册。详细信息请参见4 故障诊断前的准备工作。
故障信息收集	·     收集故障现场信息，如现象描述、设备型号、操作系统及具体操作等。针对具体问题请联系技术支持，判断收集哪些类型的现场信息。 ·     收集有助于故障诊断定位的相关日志信息。详细信息请参见5 收集故障相关信息。
判断故障是否与产品相关	判断故障是否与产品相关。 ·     如果是与产品相关的故障问题，请进一步定位故障原因。 ·     如果是与产品无关的故障问题，即上层业务软件或操作系统产生的故障，建议优先联系业务软件或操作系统供应商处理。
故障诊断定位	基于收集到的故障信息，采用合适的故障定位方法找到故障根因。详细信息请参见6 故障诊断定位。
故障处理	根据故障根因，确定并实施故障排除措施。具体故障问题的处理建议请参见7 硬件类问题或8 软件类问题。
联系技术支持	如果在故障处理过程中遇到难以确定或解决的问题，通过指导文档依旧无法解决，请联系技术工程师协助处理。
故障处理相关资源	故障处理过程中可能需要诊断工具或版本升级，可根据具体需求获取如下相关资源： ·     版本升级相关信息请参见9 版本升级 ·     故障处理过程中可能用到的软件和配置工具请参见10 软件和配置工具 ·     故障诊断过程中可能用到的相关资源请参见11 故障诊断相关资源

4 故障诊断前的准备工作

在开始故障诊断前，请做好相关准备工作。

4.1  熟悉产品信息

·     熟悉服务器产品知识；阅读产品配套资料，比如产品用户指南。

·     熟悉服务器上的安全标识。

·     熟悉服务器硬件架构。

·     熟悉服务器前后面板指示灯。

·     熟悉服务器上运行的系统。

·     熟悉服务器正常运行的物理环境要求。

·     熟悉硬件的常用操作，如上下电、部件更换。

·     熟悉软件的常用操作，如日志收集、固件升级。

·     熟悉维护服务器的流程。

·     熟悉服务器的操作系统兼容性、部件兼容性。

4.2  准备软件工具

4.2.1  远程维护工具

表4-1 远程维护工具

工具名称	工具简介	工具获取方式
HDM	H3C自主研发的服务器远程管理系统，提供Web界面为服务器提供直观便捷的配置查询接口，兼容服务器业界管理标准IPMI、SNMP、Redfish，提供方便的远程维护手段	服务器出厂自带，如需更新可在H3C官网下载： http://www.h3c.com/cn/Service/Document_Software/Software_Download/Server/
UniSystem	服务器批量管理软件，支持资源监控、告警监控、模块化配置及批量应用、固件和驱动的更新等功能	AE模块出厂自带，如需在其他环境部署或升级UniSystem可在H3C官网下载： http://www.h3c.com/cn/Service/Document_Software/Software_Download/Server/
iFIST	内嵌在H3C自研服务器中的单机智能部署工具，支持RAID配置、OS自动安装、服务器诊断	服务器出厂自带，如需更新可在H3C官网下载： http://www.h3c.com/cn/Service/Document_Software/Software_Download/Server/
REPO	REPO是一个固件和驱动安装文件的集合，用户可以使用REPO通过多种方式对固件和驱动进行安装或升级	可在H3C官网定制化或直接下载完整的REPO： ·     http://www.h3c.com/cn/Service/Document_Software/Software_Download/Server/ ·     http://supportrepo.h3c.com/repo.htm
hREST	hREST命令行工具主要基于HTTPs协议和Redfish（RESTful和IPMI）接口协议，是一款便于用户管理服务器的客户端工具。用户可通过本工具的查询、设置等命令对服务器进行管理	可在H3C官网下载： http://www.h3c.com/cn/Service/Document_Software/Software_Download/Server/
PuTTY	第三方远程访问工具，是一个Telnet、SSH以及串行接口访问的软件，可用于远程登录操作系统及查看串口信息等	请自行获取，比如通过互联网下载
IPMItool	IPMItool提供一个简单的命令行界面，可用于通过服务器HDM提供的IPMI接口管理服务器，可以独立于操作系统来管理系统硬件组件，监视系统运行状况以及监视和管理系统环境	请自行获取，比如通过互联网下载

 

4.2.2  阵列诊断工具

表4-2 阵列诊断工具

工具名称	支持的存储控制卡	工具简介	工具获取方式
HDM	H3C服务器支持的所有存储控制卡（不包括PCH板载软RAID）	通过带外管理，获取存储控制卡和硬盘的相关配置信息	请在如下链接中找到安装存储控制卡的服务器，下载相关固件包： http://www.h3c.com/cn/Service/Document_Software/Software_Download/Server/
Arcconf	H3C服务器支持的所有PMC存储控制卡*	PMC存储控制卡*操作系统下的命令行管理工具，主要功能包括存储控制卡配置信息获取，逻辑盘的创建与删除、热备盘、扩容、日志收集等	请在如下链接中找到对应的存储控制卡，该工具包括在其固件包中： http://www.h3c.com/cn/Service/Document_Software/Software_Download/Server/
Storcli64	存储控制卡型号： ·     RAID-LSI-9361-8i(1G)-A1-X ·     RAID-LSI-9361-8i(2G)-1-X ·     RAID-LSI-9460-8i(2G) ·     RAID-LSI-9460-8i(4G) ·     RAID-LSI-9460-16i(4G) ·     RAID-LSI-9560-LP-8i(4G) ·     RAID-LSI-9560-LP-16i ·     HBA-LSI-9440-8i ·     HBA-LSI-9500-8i ·     HBA-LSI-9500-16i ·     HBA-LSI-9540-8i ·     RAID-L460-M4	LSI存储控制卡*操作系统下的命令行管理工具。主要功能包括存储控制卡配置信息获取，逻辑盘的创建与删除、热备盘、扩容、日志收集等	请在如下链接中找到对应的存储控制卡，该工具包括在其固件包中： http://www.h3c.com/cn/Service/Document_Software/Software_Download/Server/
PMC存储控制卡/LSI存储控制卡*：存储控制卡所属的厂商，可通过服务器兼容的部件查询工具进行查询

 

4.3  收集故障的症状信息

4.3.1  收集基本信息

建议用户参考表4-3，收集服务器的基本信息。

表4-3 服务器基本信息

项目	说明
产品型号	举例：H3C UniServer R4300 G3
产品序列号	举例：210235A3THH19A000123
硬件配置	如果更改过CPU、内存、硬盘、存储控制卡等配置，请具体明确
操作系统和应用软件版本	请根据具体问题，判断是否需要收集操作系统和应用软件版本
HDM和BIOS固件版本	举例：HDM-1.30.23、BIOS-2.00.45
故障发生时间	举例：xxxx年xx月xx日xx时xx分xx秒
故障现象	举例：黑屏
故障前的操作	举例：修改BIOS参数、修改HDM网络配置
故障后已采取的操作和结果	举例：插拔所有内存后，故障依旧存在

 

1. 产品序列号

产品序列号是可以唯一识别服务器的字符串组合，也是用户申请进一步技术支持的重要依据。产品序列号以“SN”开头，如图4-1所示。

图4-1 产品序列号（示例）

 

2. 获取产品序列号

可通过如下三种方式获取产品序列号。

·     方式一：通过产品标签获取产品序列号

产品标签一般位于机箱右前面的顶部；或机箱的抽拉式资产标签上，抽出该标签即可查看对应的产品序列号。抽拉式资产标签的具体位置请参见对应产品的用户指南，图4-2仅为示例。

图4-2 抽拉式资产标签的位置（示例）

 

·     方式二：通过HDM获取产品序列号

登录HDM Web界面，在“基本概况”页面可以查看产品序列号，如图4-3所示；也可在“产品信息”页面中查看产品序列号，如图4-4所示。

图4-3 在基本概况中查看产品序列号

 

图4-4 在产品信息中查看产品序列号

 

·     方式三；通过IPMI命令获取产品序列号

a.     通过互联网获取IPMI平台管理工具：IPMITOOL工具。

b.     在IPMITOOL工具中，通过获取主板FRU信息的命令“ipmitool.exe -I lanplus -H ip -U username -P password fru list fruid”，查看产品序列号。

c.     其中各参数含义如下。

-     ip：HDM的IP地址。

-     username：HDM账号的用户名。

-     password：HDM账号的密码。

-     fruid：待查询产品主板的FRUid。

图4-5 通过IPMI命令获取产品序列号

 

4.3.2  对照故障信息检查清单自检

故障处理前，请对照如下故障信息检查清单，进行自检并记录自检结果，同时收集相关信息。

表4-4 故障信息检查清单

故障信息检查清单	自检结果
服务器能否开机上电？如果无法开机上电，服务器前部面板的Health指示灯的状态、开机/待机按钮和系统电源指示灯是什么状态？
HDM是否能正常登录？是否能正常收集HDM SDS日志？
服务器开机后，HDM Web KVM远程控制台是否有显示？服务器连接显示器后，是否有显示？
服务器能否正常通过POST自检阶段？如果POST阶段挂起或重启，具体发生在哪个阶段？是否有红屏现象，服务器是否安装了规格外的部件？
服务器能否成功引导进入操作系统？如果不能，是否存在如下症状以及何时出现的该症状？ l     BIOS界面下找不到系统启动引导项（或者BIOS POST完成按F7找不到系统启动项）？ l     如果需要通过PXE启动，POST阶段完成后，按F7是否可以看到网卡启动引导项，是否可以正常进入PXE环境？ l     Grub引导失败？ l     操作系统启动找不到分区？ l     操作系统挂起或重启，屏幕可能会异常打印？ l     操作系统黑屏，键盘鼠标操作无响应？ l     操作系统蓝屏，需要重新启动操作系统？ l     操作系统紫屏？ l     键盘鼠标操作无响应？ l     服务器HDM事件日志中上报MCA（Machine Check Architecture，硬件错误检测架构）类告警？MCA错误告警一般以MSMI/CATERR IERR/CATERR MCERR为标志性日志信息。
故障现象是否出现在安装操作系统后？
故障发生前，执行了哪些操作后出现该问题？
故障现象是否出现在添加/删除/修改了某些软件或硬件之后？

 

4.4  明确服务器最小化硬件配置

故障诊断过程中，可能需要用户将服务器降级到最小化硬件配置；最小化硬件配置仅包含引导服务器成功完成POST所需的部件。服务器的最小化硬件配置如表4-5所示。

表4-5 服务器的最小化硬件配置

服务器型号	最小化硬件配置	最小化硬件配置说明
H3C UniServer R4300 G6	l     CPU：1个，安装在CPU 1槽位 l     内存：1个，安装在CPU 1的A0槽位 l     风扇：4个，满配 l     电源模块：1个，安装在电源模块任意槽位	/
H3C UniServer R4700 G6	l     CPU：1个，安装在CPU 1槽位 l     内存：1个，安装在CPU 1的A0槽位 l     风扇：8个，满配 l     电源模块：1个，安装在电源模块任意槽位	/
H3C UniServer R4700LE G6	l     CPU：2个，满配 l     内存：2个，安装在A0槽位 l     风扇：无需配置 l     电源模块：1个，安装在电源模块任意槽位	/
H3C UniServer R4900 G6	l     CPU：1个，安装在CPU 1槽位 l     内存：1个，安装在CPU 1的A0槽位 l     风扇：4个，满配 l     电源模块：1个，安装在电源模块任意槽位	/
H3C UniServer R4900 G6 Ultra	l     CPU：1个，安装在CPU 1槽位 l     内存：1个，安装在CPU 1的A0槽位 l     风扇：4个，满配 l     电源模块：1个，安装在电源模块任意槽位	/
H3C UniServer R4900LE G6 Ultra	l     CPU：2个，满配 l     内存：2个，安装在A0槽位 l     风扇：无需配置 l     电源模块：1个，安装在电源模块任意槽位	/
H3C UniServer R4950 G6	l     CPU：2个，满配 l     内存：2个，安装在A0槽位 l     风扇：4个，满配 l     电源模块：1个，安装在电源模块任意槽位	/
H3C UniServer R5350 G6	l     CPU：2个，满配 l     内存：2个，安装在A0槽位 l     风扇模块：4组，满配 l     电源模块：2个，安装在电源模块任意槽位	/
H3C UniServer R6700 G6	l     CPU：1个，安装在CPU 1槽位 l     内存：1个，安装在CPU 1的A0槽位 l     风扇：4个，满配 l     电源模块：1个，安装在电源模块任意槽位	/
H3C UniServer R6900 G6	l     CPU：1个，安装在CPU 1槽位 l     内存：1个，安装在CPU 1的A0槽位 l     风扇：4个，满配 l     电源模块：2个，安装在电源模块任意槽位	/
H3C UniServer R4300 G5	l     CPU：1个，安装在CPU 1槽位 l     内存：1个，安装在CPU 1的A0槽位 l     风扇：4个，满配 l     电源模块：1个，安装在电源模块任意槽位	/
H3C UniServer R4700 G5	l     CPU：1个，安装在CPU 1槽位 l     内存：1个，安装在CPU 1的A0槽位 l     风扇：7个，满配 l     电源模块：1个，安装在电源模块任意槽位	/
H3C UniServer R4700LC G5	l     CPU：2个，满配 l     内存：2个，安装在A0槽位 l     风扇：7个，满配 l     电源模块：1个，安装在电源模块任意槽位	/
H3C UniServer R4900 G5	l     CPU：1个，安装在CPU 1槽位 l     内存：1个，安装在CPU 1的A0槽位 l     风扇：6个，满配 l     电源模块：1个，安装在电源模块任意槽位	/
H3C UniServer R4900LC G5	l     CPU：2个，满配 l     内存：2个，安装在A0槽位 l     风扇：6个，满配 l     电源模块：1个，安装在电源模块任意槽位	/
H3C UniServer R4950 G5	l     CPU：1个，安装在CPU 1槽位 l     内存：1个，安装在CPU 1的D0槽位 l     风扇：6个，满配 l     电源模块：1个，安装在电源模块任意槽位	/
H3C UniServer R6900 G5	l     CPU：1个，安装在CPU 1槽位 l     内存：1个，安装在CPU 1的A0槽位 l     风扇模块：3个，安装在任意3个风扇模块槽位 l     电源模块：1个，安装在电源模块任意槽位	/
H3C UniServer R2700 G3	l     CPU：1个，安装在CPU 1槽位 l     内存：1个，安装在A1槽位 l     风扇：4个，安装在Fan 3、Fan 5、Fan 6、Fan 7槽位 l     电源模块：1个，安装在电源模块任意槽位	/
H3C UniServer R2900 G3	l     CPU：1个，安装在CPU 1槽位 l     内存：1个，安装在A1槽位 l     风扇：4个，安装在Fan 2、Fan 4、Fan 5、Fan 6槽位 l     电源模块：1个，安装在电源模块任意槽位	/
H3C UniServer R4300 G3	l     CPU：1个，安装在CPU 1槽位 l     内存：1个，安装在A1槽位 l     风扇：4个，安装在Fan 1、Fan 2、Fan 3、Fan 4槽位 l     电源模块：1个，安装在电源模块任意槽位	/
H3C UniServer R4700 G3	l     CPU：1个，安装在CPU 1槽位 l     内存：1个，安装在A1槽位 l     风扇：4个，安装在Fan 4、Fan 5、Fan 6、Fan 7槽位 l     电源模块：1个，安装在电源模块任意槽位	/
H3C UniServer R4900 G3	l     CPU：1个，安装在CPU 1槽位 l     内存：1个，安装在A1槽位 l     风扇：4个，安装在Fan 3、Fan 4、Fan 5、Fan 6槽位 l     电源模块：1个，安装在电源模块任意槽位	/
H3C UniServer R6700 G3	l     CPU：1个，安装在CPU 1槽位 l     内存：1个，安装在A1槽位 l     风扇：6个，满配 l     电源模块：1个，安装在电源模块任意槽位	/
H3C UniServer R6900 G3	l     计算模块：1个，安装在计算模块1 l     PDB板：1个，安装在PDB板槽位 l     管理模块：1个，安装在管理模块槽位 l     CPU：1个，安装在计算模块1的CPU 1槽位 l     内存：1个，安装在计算模块1的A1槽位 l     风扇模块：6个，满配 l     电源模块：1个，安装在电源模块任意槽位	/
H3C UniServer R8900 G3	l     计算模块：1个，安装在计算模块1或计算模块3位置（与管理模块和PDB板模块配置位置存在对应关系） l     PDB板：1个，安装在PDB板模块槽位，与计算模块配置位置存在对应关系 l     管理模块：1个，安装在管理模块槽位，与计算模块配置位置存在对应关系 l     CPU：1个，安装在计算模块内的CPU 1槽位 l     内存：1个，安装在A1槽位 l     风扇：3个，安装在计算模块上的风扇槽位 l     电源模块：1个，安装在已在位的PDB板模块上的电源模块任意槽位	l     计算模块1在位时，需要管理模块1和PDB板模块1均在位。 l     计算模块3在位时，需要管理模块2和PDB板模块2均在位。
H3C UniServer R4930 G5	l     CPU：1个，安装在CPU 1槽位 l     内存：1个，安装在任意白槽 l     风扇：6个，满配 l     电源模块：1个，安装在电源模块任意槽位	/
H3C UniServer R4930 G5 H3	l     CPU：1个，安装在CPU 1槽位 l     内存：1个，安装在任意白槽 l     风扇：6个，满配 l     电源模块：1个，安装在电源模块任意槽位	/
H3C UniServer R4930LC  G5 H3	l     CPU：2个, l     内存：2个，安装在任意白槽 l     风扇：6个，满配 l     电源模块：1个，安装在电源模块任意槽位	/
H3C UniServer R4330 G5	l     CPU：1个，安装在CPU 1槽位 l     内存：1个，安装在任意白槽 l     风扇：4个，满配 l     电源模块：1个，安装在电源模块任意槽位	/
H3C UniServer R4330 G5 H3	l     CPU：1个，安装在CPU 1槽位 l     内存：1个，安装在任意白槽 l     风扇：4个，满配 l     电源模块：1个，安装在电源模块任意槽位	/
H3C UniServer R5300 G3	l     CPU：2个 l     内存：2个，安装在两个CPU的A0槽位 l     风扇模块：满配 l     电源模块：2个，安装在电源模块任意槽位	/
H3C UniServer R5300 G5	l     CPU：2个 l     内存：2个，安装在两个CPU的A0槽位 l     风扇模块：满配 l     电源模块：2个，安装在电源模块任意槽位	/
H3C UniServer R5500 G5	l     CPU：2个 l     内存：2个，安装在两个CPU的A0槽位 l     风扇模块：满配 l     计算节点电源：1个，安装在任意槽位	/
l     最小化硬件配置中，各槽位的具体位置，请参见产品用户指南。 l     在最小化硬件配置基础上，如果需要配置其他部件，部件的安装准则请参见产品用户指南。

5 收集故障相关信息

5.1  准备硬件工具

服务器日常维护所使用的硬件工具，如表5-1所示。

表5-1 硬件工具

图示	工具名称	工具说明
	螺丝刀	用于拆装螺钉、更换系统电池等，一般包括： ·     T25 Torx星型螺丝刀 ·     T30 Torx星型螺丝刀 ·     T15 Torx星型螺丝刀 ·     T10 Torx星型螺丝刀 ·     一字螺丝刀 ·     十字螺丝刀
	浮动螺母安装条	用于牵引浮动螺母，使其安装在机柜的固定导槽孔位上
	斜口钳	用于剪切绝缘套管、电缆扎线扣等
	卷尺	用于测量距离
	万用表	用于测量电阻、电压，检查电路
	防静电腕带	用于操作服务器时使用
	防静电手套
	防静电服
	梯子	用于高处作业
	接口线缆（如网线、光纤）	用于服务器与外接网络互连
	USB Type-C转接线和 USB WIFI模块（小米品牌）	用于外接第三方USB WIFI模块（小米品牌），提供WIFI热点 服务器是否支持USB WIFI模块，请以实际情况为准。
	串口线	用于访问串口，定位问题
	显示终端（如PC）	用于服务器显示
	温度计/湿度计	用于监控机房温度、湿度，是否满足设备稳定运行环境
	示波器	用于测量电压和时序

 

5.2  收集操作系统日志

 

操作系统日志的收集方法，如表5-2所示。

表5-2 操作系统日志收集方法

操作系统类型	操作系统日志收集方法
Windows	·     无蓝屏现象时，请执行以下操作： a.     在操作系统下单击[计算机/管理]菜单项，打开服务器管理器。 b.     单击[工具/事件查看器]菜单项，打开事件查看器。 c.     单击[Windows日志/系统/将所有事件另存为]菜单项，导出并保存日志文件。 ·     有蓝屏现象时，请执行以下操作： a.     截屏或拍照保存蓝屏错误代码信息。 b.     重启后收集“C:\WINDOWS\Minidump\”路径下的全部文件。
Linux	·     Linux系统有sosreport工具，请执行以下操作： a.     以root权限用户登录Linux的命令行终端。 b.     执行sosreport命令收集全部Linux日志。 c.     日志收集一般需要几分钟时间，完成后会在“/var/tmp”目录下生成以“sosreport-localhost-ID-YYYY-MM-DD@HH-MM-SS.tar.xz”格式命名的日志文件。 ·     Linux系统无sosreport工具，请执行以下操作：收集“\var\log”及“/var/crash”目录下的所有全部文件。
VMware	·     无紫屏现象，可以在vSphere Web Client上选择[主机/管理/日志]后搜索“系统日志”并导出日志，也可以执行以下操作生成日志： a.     以root权限用户登录ESXi主机ESXi Server Console命令行。 b.     执行vm-support命令收集全部VMware日志。 c.     日志收集一般需要几分钟时间，完成后会在“/var/tmp”目录下生成以“esxsupport-YYYY-MM-DD@HH-MM-SS.tgz”格式命名的日志文件。 ·     出现紫屏且客户已热重启系统的情况下，请执行以下操作： a.     以root权限用户登录ESXi主机ESXi Server Console命令行。 b.     执行vm-support命令收集全部VMware日志。 c.     日志收集一般需要几分钟时间，完成后会在“/var/tmp”目录下生成以“esxsupport-YYYY-MM-DD@HH-MM-SS.tgz”格式命名的日志文件。 ·     出现紫屏且客户保留现场环境的情况下，请执行以下操作： a.     截屏或者拍照保存紫屏信息。 b.     按Alt+F12进入内存信息强制输出模式，然后按Alt+PageUp或Alt+PageDown翻页，通过截屏或者拍照的形式保存问题出现的最后几屏日志。 c.     热重启系统后执行vm-support命令收集全部VMware日志。 d.     日志收集一般需要几分钟时间，完成后会在“/var/tmp”目录下生成以“esxsupport-YYYY-MM-DD@HH-MM-SS.tgz”格式命名的日志文件。
其他操作系统的日志收集方法请联系技术支持。

 

5.3  收集HDM SDS日志

SDS（Smart Diagnose System，智能诊断系统）日志包括服务器的日志信息（包括事件日志、操作日志和内部日志等）、硬件信息、故障诊断信息，通过SDS日志可以了解服务器运行状态。

1. 操作步骤

(1)     登录HDM Web界面，具体操作请参见《HDM用户指南》。

(2)     进入一键收集页面，如图5-1所示。

图5-1 一键收集

 

(3)     选择默认下载或全部下载SDS日志。

¡     默认下载：默认下载近30天的SDS日志。在“默认下载”栏中，自定义日志范围可点击右侧日历图标，输入起始时间和截止时间，可下载指定时间段内的SDS日志。

¡     全部下载：下载全部SDS日志。

(4)     （可选）在“新增联系人”栏，填写联系人信息，输入“姓名”、“电话”和“邮箱”信息。

(5)     单击<下载日志>按钮，开始下载日志，下载完成后，将.sds日志文件保存到本地，完成操作。

(6)     如需解析SDS日志，请联系技术支持。

2. 注意事项

·     不支持多用户同时下载SDS日志。

·     SDS日志记录的是UTC时间的日志，HDM的时间以NTP页面设置为准，下载SDS日志时会把HDM时间自动转换成UTC时间，两者之间可能存在时间差。

5.4  收集HDM录屏信息

当服务器操作系统发生崩溃、重启或关机时，HDM会自动录制事件发生前的录像。用户可以通过查看录制的视频，分析服务器操作系统崩溃、重启或关机的原因。通过HDM Web端的“录像回放”功能可以查看并下载已录制的视频。

1. 操作步骤

(1)     登录HDM Web界面，具体操作请参见《HDM用户指南》。

(2)     进入截屏&录像页面，如图5-2所示。

图5-2 录像回放

 

(3)     单击目标视频，视频会在当前页面中播放。

(4)     视频加载完后，单击<下载>按钮，完成下载视频操作。

2. 注意事项

如果操作系统发生崩溃、重启或关机事件时，操作系统处于休眠状态，查看录像回放时会显示无信号。

5.5  收集存储控制卡阵列配置信息（OS内）

 

5.5.1  PMC存储控制卡

PMC存储控制卡可通过PMC官方提供的Arcconf命令行工具进行配置信息收集。

·     Arcconf命令行工具的安装方法，请参见PMC官网的Arcconf使用手册。不同操作系统下，工具的安装方法不同。

·     Arcconf命令行工具的启动方法如下，不同操作系统下略有不同。但进入命令行界面后，命令操作完全一致，具体的命令行请参见PMC官网的Arcconf使用手册。

¡     Windows操作系统：用键盘输入WIN+R，在弹出的对话框中输入cmd进入Windows操作系统命令行界面，然后输入arcconf进入Arcconf命令行工具。

¡     除Windows操作系统外：无需输入任何命令，Arcconf命令行工具默认开启。

 

1. 查看存储控制卡的状态、槽位和模式信息

·     命令

arcconf list

·     命令示例

[root@localhost ~]# ./arcconf list

Controllers found: 1

----------------------------------------------------------------------

Controller information

----------------------------------------------------------------------

   Controller ID                                  : Status, Slot, Mode, Name, SerialNumber, WWN

----------------------------------------------------------------------

   Controller 1 : Optimal, Slot 10, RAID (Expose RAW), PM8060-RAID , 70532000, 5D461FE170532000

2. 查看存储控制卡的详细信息（包括状态、模式、固件以及驱动版本等）

·     命令

arcconf getconfig controller_id AD

表5-3 参数说明

参数	参数说明	配置建议
controller_id	存储控制卡的ID	-

 

·     命令示例

[root@localhost ~]# ./arcconf getconfig 1 AD

Controllers found: 1

----------------------------------------------------------------------

Controller information

----------------------------------------------------------------------

   Controller Status                          : Optimal

   Controller Mode                            : RAID (Expose RAW)

   Channel description                        : SAS/SATA

   Controller Model                           : PM8060-RAID

   Controller Serial Number                   : 70532000

   Controller World Wide Name                 : 5D461FE170532000

   Controller Alarm                           : Enabled

   Temperature                                : 71 C/ 159 F (Normal)

   Installed memory                           : 2048 MB

  ......

   BIOS                                       : 7.16-0 (33456)

   Firmware                                   : 7.16-0 (33456)

   Driver                                     : 1.2-1 (41066)

   Boot Flash                                 : 7.16-0 (33456)

3. 查看存储控制卡下所有物理盘的信息

·     命令

arcconf getconfig controller_id PD disk_id

表5-4 参数说明

参数	参数说明	配置建议
controller_id	存储控制卡的ID	-
disk_id	物理盘的ID	选填参数，用于仅需查询具体某块硬盘信息的场景

 

·     命令示例

[root@localhost ~]# ./arcconf getconfig 1 PD

Controllers found: 1

----------------------------------------------------------------------

Physical Device information

----------------------------------------------------------------------

      Device #0

         Device is a Hard drive

         State                                : Online

         Block Size                           : 512 Bytes

         Supported                            : Yes

         Programmed Max Speed                 : SAS 12.0 Gb/s

         Transfer Speed                       : SAS 12.0 Gb/s

         Reported Channel,Device(T:L)         : 0,10(10:0)

         Reported Location                    : Enclosure 0, Slot 2(Connector 0, Connector 1)

         Reported ESD(T:L)                    : 2,0(0:0)

         Vendor                               : HGST

         Model                                : HUC101860CSS200

         Firmware                             : AA01

         Serial number                        : 0BG4667F

......

         Hardware Error Count                 : 0

         Medium Error Count                   : 0

         Parity Error Count                   : 0

         Link Failure Count                   : 0

         Aborted Command Count                : 0

         SMART Warning Count                  : 0

4. 查看存储控制卡下所有逻辑盘信息

·     命令

arcconf getconfig controller_id LD LD_id

表5-5 参数说明

参数	参数说明	配置建议
controller_id	存储控制卡的ID	-
LD_id	逻辑盘的ID	选填参数，用于仅需查询具体逻辑盘信息的场景

 

·     命令示例

[root@localhost ~]# ./arcconf getconfig 1 LD

Controllers found: 1

----------------------------------------------------------------------

Logical device information

----------------------------------------------------------------------

Logical Device number 0

   Logical Device name                        : LogicalDrv 0

   Block Size of member drives                : 512 Bytes

   RAID level                                 : 10

   Unique Identifier                          : 45D14933

   Status of Logical Device                   : Optimal

   Additional details                         : Initialized with Build/Clear

   Size                                       : 1014 MB

   Parity space                               : 1024 MB

   Stripe-unit size                           : 256 KB

   Interface Type                             : SAS/SATA

   Device Type                                : HDD

   Read-cache setting                         : Enabled

   Read-cache status                          : On

   Write-cache setting                        : Enabled

   Write-cache status                         : On

   Partitioned                                : No

   Protected by Hot-Spare                     : No

   Bootable                                   : Yes

   Failed stripes                             : No

   Power settings                             : Disabled

   --------------------------------------------------------

   Logical Device segment information

   --------------------------------------------------------

   Group 0, Segment 0                         : Present (572325MB, SAS, HDD, Enclosure:0, Slot:2)             0BG4667F

   Group 0, Segment 1                         : Present (1716957MB, SAS, HDD, Enclosure:0, Slot:5)         29L0A016FMCF

   Group 1, Segment 0                         : Present (3815447MB, SATA, HDD, Enclosure:0, Slot:7)             WJG00YXP

   Group 1, Segment 1                         : Present (3815447MB, SATA, HDD, Enclosure:0, Slot:8)             WJG00Z35

5. 查看存储控制卡下正在执行的所有任务（包括重建、擦除等）

·     命令

arcconf getstatus 1

·     命令示例

[root@localhost ~]# ./arcconf getstatus 1

Controllers found: 1

Logical Device Task:

   Logical Device                 : 0

   Task ID                        : 107

   Current operation              : Rebuild

   Status                         : In Progress

   Priority                       : High

   Percentage complete            : 0

Command completed successfully.

5.5.2  LSI存储控制卡

LSI存储控制卡可通过LSI官方提供的StorCLI命令行工具进行配置信息收集。

·     StorCLI命令行工具的安装方法，请参见LSI官网的StorCLI使用手册。不同操作系统下，工具的安装方法不同。

·     StorCLI命令行工具的启动方法如下，不同操作系统下略有不同。但进入命令行界面后，命令操作完全一致，具体的命令行请参见LSI官网的StorCLI使用手册。

¡     Windows操作系统：用键盘输入WIN+R，在弹出的对话框中输入cmd进入Windows操作系统命令行界面，然后输入storcli进入StorCLI命令行工具。

¡     除Windows操作系统外：无需输入任何命令，StorCLI命令行工具默认开启。

 

1. 查看存储控制卡、系统内核、主机名等信息

·     命令

storcli64 show

·     命令示例

[root@localhost /]# /opt/MegaRAID/storcli/storcli64 show

CLI Version = 007.1017.0000.0000 May 10, 2019

Operating system = Linux 3.10.0-957.el7.x86_64

Status Code = 0

Status = Success

Description = None

 

Number of Controllers = 1

Host Name = localhost.localdomain

Operating System  = Linux 3.10.0-957.el7.x86_64

 

System Overview :

===============

 

--------------------------------------------------------------------

Ctl Model   Ports  PDs DGs DNOpt VDs VNOpt BBU sPR DS  EHS ASOs Hlth

--------------------------------------------------------------------

0 SAS3108    8      2       1     0         1     0          N/A  On  1&2   Y      3      Opt

2. 查看存储控制卡、物理盘、逻辑盘等详细信息

·     命令

storcli64 /controller_id show

表5-6 参数说明

参数	参数说明	配置建议
controller_id	存储控制卡的ID	-

 

·     命令示例

[root@localhost /]# /opt/MegaRAID/storcli/storcli64 /c0 show

CLI Version = 007.1017.0000.0000 May 10, 2019

Operating system = Linux 3.10.0-957.el7.x86_64

Controller = 0

Status = Success

Description = None

Product Name = SAS3108

…

FW Version = 4.660.00-8313

Driver Name = megaraid_sas

Driver Version = 07.705.02.00-rh1

Current Personality = RAID-Mode

Vendor Id = 0x1000

Device Id = 0x5D

SubVendor Id = 0x19E5

SubDevice Id = 0xD207

Host Interface = PCI-E

Device Interface = SAS-12G

…

Virtual Drives = 1

 

VD LIST :

=======

---------------------------------------------------------------

DG/VD TYPE  State Access Consist Cache Cac sCC       Size Name

---------------------------------------------------------------

0/0   RAID1 Optl  RW     Yes     RWTD  -   ON  110.827 GB

---------------------------------------------------------------

Physical Drives = 2

PD LIST :

=======

 

---------------------------------------------------------------------------------

EID:Slt DID State DG       Size Intf Med SED PI SeSz Model               Sp Type

---------------------------------------------------------------------------------

252:1     7 Onln   0 110.827 GB SATA SSD N   N  512B INTEL SSDSC2BB120G6 U  -

252:3     9 Onln   0 222.585 GB SATA SSD N   N  512B INTEL SSDSC2KB240G7 U  -

3. 查看所有逻辑盘状态、级别以及设置参数等信息

·     命令

storcli64 /controller_id/vall show all

表5-7 参数说明

参数	参数说明	配置建议
controller_id	存储控制卡的ID	-

 

·     命令示例

[root@localhost /]# /opt/MegaRAID/storcli/storcli64 /c0/vall show all

CLI Version = 007.1017.0000.0000 May 10, 2019

Operating system = Linux 3.10.0-957.el7.x86_64

Controller = 0

Status = Success

Description = None

 

 

Virtual Drives :

==============

---------------------------------------------------------------

DG/VD TYPE  State Access Consist Cache Cac sCC       Size Name

---------------------------------------------------------------

0/0   RAID1 Optl  RW     Yes     RWTD  -   ON  110.827 GB

…

PDs for VD 0 :

============

---------------------------------------------------------------------------------

EID:Slt DID State DG       Size Intf Med SED PI SeSz Model               Sp Type

---------------------------------------------------------------------------------

252:1     7 Onln   0 110.827 GB SATA SSD N   N  512B INTEL SSDSC2BB120G6 U  -

252:3     9 Onln   0 222.585 GB SATA SSD N   N  512B INTEL SSDSC2KB240G7 U  -

---------------------------------------------------------------------------------

VD0 Properties :

==============

Strip Size = 256 KB

Number of Blocks = 232421376

VD has Emulated PD = Yes

Span Depth = 1

Number of Drives Per Span = 2

Write Cache(initial setting) = WriteBack

Disk Cache Policy = Disk's Default

Encryption = None

Data Protection = Disabled

Active Operations = None

Exposed to OS = Yes

OS Drive Name = /dev/sda

Creation Date = 21-10-2020

Creation Time = 08:00:42 AM

Emulation type = default

Cachebypass size = Cachebypass-64k

Cachebypass Mode = Cachebypass Intelligent

Is LD Ready for OS Requests = Yes

SCSI NAA Id = 6c0079045c1759aa2722a72a08c76c57

4. 查看所有物理盘状态、槽位、容量等信息

·     命令

storcli64 /controller_id/eall/sall show

表5-8 参数说明

参数	参数说明	配置建议
controller_id	存储控制卡的ID	-

 

·     命令示例

[root@localhost /]# /opt/MegaRAID/storcli/storcli64 /c0/eall/sall show

CLI Version = 007.1017.0000.0000 May 10, 2019

Operating system = Linux 3.10.0-957.el7.x86_64

Controller = 0

Status = Success

Description = Show Drive Information Succeeded.

Drive Information :

=================

---------------------------------------------------------------------------------

EID:Slt DID State DG       Size Intf Med SED PI SeSz Model               Sp Type

---------------------------------------------------------------------------------

252:1     7 Onln   0 110.827 GB SATA SSD N   N  512B INTEL SSDSC2BB120G6 U  -

252:3     9 Onln   0 222.585 GB SATA SSD N   N  512B INTEL SSDSC2KB240G7 U  -

---------------------------------------------------------------------------------

5.6  收集存储控制卡阵列配置信息（OS外）

 

5.6.1  通过HDM收集（LSI存储控制卡）

(1)     登录HDM Web界面，进入存储管理界面，选择RAID视图页签，进入RAID视图页面。

(2)     选择目标存储控制卡，查看相关信息，如图5-3所示，通过该方式可查看存储控制卡型号、支持的RAID级别、超级电容的状态等信息。

 

图5-3 存储控制卡配置信息

 

5.6.2  通过BIOS收集（PMC存储控制卡）

1. UEFI启动模式

 

(1)     服务器上电后，在BIOS启动界面，根据提示按下Delete或Esc（部分产品按Delete或F2）进入如图5-4所示的BIOS Setup界面。

图5-4 BIOS Setup界面

 

(2)     如图5-5，进入Advanced页签，并选择存储控制器（如：UN HBA H460-B2），按Enter。

图5-5 选择存储控制器

 

 

(3)     进入图5-6所示存储控制卡配置界面，选择Controller Information，按Enter。

图5-6 存储控制卡配置界面

 

(4)     进入图5-7所示界面，查看存储控制卡的基本信息，具体参数说明请参见表5-9。

图5-7 存储控制卡基本信息界面

 

表5-9 参数说明

参数	说明
Controller	产品标识
Device ID	设备标识
PCI Slot number	PCI槽位编号
PCI Address (Bus:Device:Funcition)	PCI地址（总线:设备:功能）
Hardware Revision	硬件版本
Serial Number	序列号
Firmware Version	固件版本
Firmware release date	固件发布日期
UEFI Driver Version	UEFI驱动程序版本
UEFI Driver release date	UEFI驱动程序发布日期
Controller Memory Module Size	存储控制卡模块大小
Controller Mode	存储控制卡模式

 

2. Legacy启动模式

 

(1)     服务器上电后，在BIOS启动过程中，出现如图5-8所示界面后，按Ctrl+A。

图5-8 BIOS启动过程中根据提示按Ctrl+A

 

(2)     进入如图5-9所示载入界面，此处可查看存储控制卡的版本信息和基本状态信息。

图5-9 载入界面

 

(3)     进入图5-10所示PMC RAID管理界面（操作选项说明请参见表5-10，选择Controller Settings，按Enter。

图5-10 PMC RAID管理界面

 

表5-10 操作选项说明

选项	概要说明
Logical Device Configuration	通过该选项可选择管理阵列、创建阵列、磁盘初始化/去初始化、擦除磁盘数据和设置启动项等操作。
Controller Settings	通过该选项可对存储控制卡进行设置，包括修改存储控制卡工作模式、恢复存储控制卡缺省配置等。
Disk Utilities	通过该选项可以选择格式化磁盘、定位磁盘位置等操作。

 

(4)     进入图5-11所示界面，选择Controller Configuration，按Enter。

图5-11 Controller Settings界面

 

(5)     进入图5-12所示界面，即可查看存储控制卡的基本配置信息。

图5-12 Controller Configuration界面

 

5.6.3  通过BIOS收集（LSI存储控制卡）

1. UEFI启动模式

 

(1)     服务器上电后，在BIOS启动界面，根据提示按下Delete或Esc（部分产品按Delete或F2）进入如图5-13所示的BIOS Setup界面（部分产品进入Front界面，请选择Device Management，进入设备管理菜单）。请参考界面右下角的按键操作提示，以实现在界面中导航和修改设置。

图5-13 BIOS Setup界面

 

(2)     进入存储控制器管理界面。如图5-14所示，进入Advanced页签，并选择存储控制器（如：BROADCOM MegaRAID< MegaRAID 9560-8i 4GB >），按Enter。

图5-14 Advanced界面

 

(3)     进入图5-15所示界面，选择Main Menu，按Enter。

图5-15 选择Main Menu

 

(4)     进入如图5-16所示页面，选择Virtual Drive Management，按Enter。

图5-16 存储控制卡配置界面

 

(5)     进入图5-17所示界面，可以看到已创建的RAID，选择需要查看的RAID，按Enter。

图5-17 Vitrual Drive Management界面

 

(6)     进入图5-18所示界面，选择View Associated Drives，按Enter，即可查看该RAID的详细信息（包括RAID名称、级别，所含磁盘信息等）。

图5-18 选择View Associated Drives

 

2. Legacy启动模式

 

(1)     在BIOS启动过程中，出现如图5-19所示界面后，按Ctrl+R。

图5-19 BIOS启动过程中根据提示按Ctrl+R

 

(2)     如图5-20所示，在VD Mgmt界面选择待查看的逻辑磁盘，按Enter。

图5-20 选择待查看的逻辑磁盘

 

(3)     即可查看该RAID的详细信息（包括RAID名称、级别，所含磁盘信息等），如图5-21所示。

图5-21 查看RAID信息

 

5.7  收集存储控制卡阵列日志（OS内）

 

·     仅支持在操作系统下，通过存储控制卡的管理工具，收集阵列日志。PMC官方推荐的存储控制卡管理工具为Arcconf命令行工具，LSI官方推荐的存储控制卡管理工具为StorCLI命令行工具。

·     不支持在操作系统外收集存储控制卡的阵列日志。

5.7.1  PMC存储控制卡

PMC存储控制卡可通过PMC官方提供的Arcconf命令行工具进行日志收集。

·     Arcconf命令行工具的安装方法，请参见PMC官网的Arcconf使用手册。不同操作系统下，工具的安装方法不同。

·     Arcconf命令行工具的启动方法如下，不同操作系统下略有不同。但进入命令行界面后，命令操作完全一致，具体的命令行请参见PMC官网的Arcconf使用手册。

¡     Windows操作系统：用键盘输入WIN+R，在弹出的对话框中输入cmd进入Windows操作系统命令行界面，然后输入arcconf进入Arcconf命令行工具。

¡     除Windows操作系统外：无需输入任何命令，Arcconf命令行工具默认开启。

PMC存储控制卡阵列日志收集步骤如下。

(1)     进入Arcconf命令行工具，本文以进入Linux操作系统命令行工具为例。使用root权限用户登录Linux操作系统。

(2)     执行arcconf savesupportarchive命令收集PMC存储控制卡的阵列日志。

(3)     日志收集一般需要几分钟时间，完成后系统会自动在“/var/log”路径下下生成“Support”目录，如图5-22所示，所有日志信息均保存在该目录下。

图5-22 收集PMC存储控制卡日志

 

(4)     如果有多张PMC存储控制卡，如图5-23所示在“Support”目录下的各个目录中，会分别以各张存储控制卡的序号作为日志文件名称的前缀。

图5-23 查看多张PMC存储控制卡的日志保存目录

 

5.7.2  LSI存储控制卡

LSI存储控制卡可通过LSI官方提供的StorCLI命令行工具或者snapdump工具进行日志收集。

·     StorCLI命令行工具的安装方法，请参见LSI官网的StorCLI使用手册。不同操作系统下，工具的安装方法不同。

·     StorCLI命令行工具的启动方法如下，不同操作系统下略有不同。但进入命令行界面后，命令操作完全一致，具体的命令行请参见LSI官网的StorCLI使用手册。

¡     Windows操作系统：用键盘输入WIN+R，在弹出的对话框中输入cmd进入Windows操作系统命令行界面，然后输入storcli进入StorCLI命令行工具。

¡     除Windows操作系统外：无需输入任何命令，StorCLI命令行工具默认开启。

LSI存储控制卡阵列日志收集步骤如下。

(1)     进入StorCLI命令行工具，本文以Linux操作系统为例进行介绍。Linux操作系统下，无需输入任何命令，StorCLI命令行工具默认开启。

(2)     如图5-24所示输入/opt/MegaRAID/storcli/storcli64  /c0  show all > storcli.showall命令，耐心等待后，会在“/opt/MegaRAID/storcli/”文件夹下生成存储控制卡以及硬盘的相关信息并保存。

(3)     如图5-24所示输入/opt/MegaRAID/storcli/storcli64   /c0  show events > storcli.events命令，耐心等待后，会在“/opt/MegaRAID/storcli/”文件夹下生成以事件形式记录的存储控制卡生命周期中的重要日志。

(4)     如图5-24所示输入/opt/MegaRAID/storcli/storcli64  /c0  show termlog > /opt/MegaRAID/storcli/storcli.termlog命令，耐心等待后，会在“/opt/MegaRAID/storcli/”文件夹下生成操作系统启动全过程的日志并保存，可用于查询存储控制卡配置、物理盘信息、逻辑盘信息等。但是该日志在操作系统重启后会清空之前所有的记录，仅保留本次启动的日志。

(5)     如图5-24所示输入/opt/MegaRAID/storcli/storcli64   /c0  show alilog > storcli.alilog命令，耐心等待后，信息输出重定向到/opt/MegaRAID/storcli/storcli.alilog 并保存。

图5-24 收集LSI存储控制卡阵列日志

 

·     使用snapdump收集日志，命令请参考《H3C G6服务器 存储控制卡用户指南》的5.5.14章节。

5.8  收集FC HBA卡日志

5.8.1  收集Qlogic FC HBA卡日志

本章节介绍如下Qlogic FC HBA卡的日志收集方法。Qlogic FC HBA卡指生产厂家为Qlogic的FC HBA卡，目前包括如下型号：

·     FC-HBA-QLE2560-8Gb-1P-1

·     FC-HBA-QLE2562-8Gb-2P-1

·     FC-HBA-QLE2690-16Gb-1P-1

·     FC-HBA-QLE2692-16Gb-2P-1

·     FC-HBA-QLE2740-32Gb-1P

·     FC-HBA-QLE2742-32Gb-2P

当排查Qlogic FC HBA卡是否出现故障或判断故障原因时，可收集相关日志进行故障定位和分析。

1. 日志收集工具

Qlogic FC HBA卡日志收集工具，如表5-11所示。需要注意的是，该工具仅用于日志信息收集，不会收集任何用户信息，也不会对业务造成影响。如需获取工具请联系技术支持。

表5-11 Qlogic FC HBA卡日志收集工具

操作系统	工具名称
Windows	qInfoHD_Windows---[date].exe
Linux	qla_linux-info.sh
VMware	qMwareHD--[date].exe

 

2. 日志收集方法（Windows操作系统）

需要通过执行脚本来收集日志信息。脚本工具获取、日志收集的方法，均请参见Marvell官网或联系技术支持。

以下简单介绍日志的收集方法：

(1)     访问Marvell官网，下载脚本工具qInfoHD_Windows--[date].exe。

(2)     右键单击已下载的脚本工具，选择“以管理员身份运行”，之后将开始收集对应的日志信息。

(3)     复制保存日志信息。

收集到的日志信息包含以下内容：

·     服务器相关信息：

¡     服务器制造商及型号

·     操作系统相关信息：

¡     操作系统名称及版本

¡     正在运行的服务

¡     已安装的管理工具

¡     网络信息

¡     操作系统和应用程序事件日志

¡     （如已安装）VMware vCenter信息

·     FC HBA卡相关信息：

¡     已安装的适配器

-     FC适配器

-     光纤缓存适配器

-     聚合网络适配器

-     智能以太网适配器

-     iSCSI适配器

-     LiquidSecurity硬件安全模块

¡     已安装的驱动程序及版本信息

·     （如已配置）完整的博科交换机SupportSave日志信息

3. 日志收集方法（Linux操作系统）

·     需要通过执行脚本来收集日志信息。脚本工具获取、日志收集的方法，均请参见Marvell官网或联系技术支持。

·     如需获取debug日志信息，请参见Marvell官网或联系技术支持。

以下简单介绍日志的收集方法：

(1)     访问Marvell官网，下载脚本工具qla_linux_info.sh。

(2)     将脚本上传至服务器操作系统，添加权限并执行如下命令。

(3)     # chmod +x qla_linux_info.sh

(4)     # ./qla_linux_info.sh

(5)     复制保存日志信息。

收集到的日志信息包含如下内容：

·     服务器相关信息：

¡     制造商及型号

¡     处理器的类型和数量

¡     BIOS的版本和发布日期

·     操作系统相关信息：

¡     操作系统名称及版本

¡     IP地址信息

¡     操作系统日志

¡     当前运行的进程

·     FC HBA卡相关信息：

¡     SCSI信息

¡     QLE10000 FCA信息

¡     FC信息

¡     iSCSI信息

¡     已安装的驱动程序及版本

¡     QLogic产品的模块信息

¡     QLogic产品的子系统供应商ID信息

4. 日志收集方法（VMware操作系统）

需要通过执行脚本来收集日志信息。脚本工具获取、日志收集的方法，均请参见Marvell官网或联系技术支持。

以下简单介绍日志的收集方法：

(1)     访问Marvell官网，下载脚本工具qMwareHD--[date].exe。

(2)     右键单击已下载脚本工具，选择“以管理员身份运行”，然后选择“VMware Support Dump file (.tgz)”允许工具获取和解析VMware系统中的dump文件信息。

(3)     收集完成后，生成的日志信息文件将保存在VMware系统中的dump文件相同的目录中。

5.8.2  收集Emulex FC HBA卡日志

 

当Emulex FC HBA卡出现故障时，请参照如下方法收集相关日志。

1. 日志收集工具

Emulex FC HBA卡的日志信息可以通过OneCapture工具进行收集，OneCapture工具可以在Broadcom官网下载。

图5-25 日志收集工具及下载链接

操作系统	工具	下载链接
Linux	OneCapture_Linux_<version>.tgz	https://www.broadcom.com/products/storage/fibre-channel-host-bus-adapters
Windows	OneCapture_<version>.zip
VMware	OneCapture_ESX_<version>.tgz

 

访问Broadcom官网，找到对应操作系统及版本的OneCapture工具下载链接，点击下载该版本OneCapture工具。

图5-26 下载对应版本的OneCapture工具

 

2. 支持的设备列表如下：

·     HBA-8Gb-LPe12000-1P-1

·     HBA-8Gb-LPe12002-2P-1

·     HBA-16Gb-LPe31000-1P-1

·     HBA-16Gb-LPe31002-2P-1

·     FC-HBA-LPe32000-32Gb-1P

·     FC-HBA-LPe32002-32Gb-2P

·     FC-HBA-LPe35000-LP-32Gb-1P

·     FC-HBA-LPe35002-LP-32Gb-2P

3. 日志收集工具Capture介绍

Emulex HBA Capture（或称为OneCapture）是一个收集操作系统、Emulex软件和Emulex适配器信息的设备驱动程序，可以使用这些收集到的信息来检查驱动的功能是否正常。Capture工具的详细使用方法及可获取的信息请参见官网用户指导https://docs.broadcom.com/doc/12399041。

Emulex HBA Capture工具收集日志时，可以从Basic、Full、Safe、Minimal和Custom五种获取模式中选择其一，不同模式中的收集的日志信息和操作方法有所不同。

(1)     Basic Capture

Capture工具默认选择Basic Capture方式。通常，除非Broadcom技术支持指示使用其他类型，否则请使用该模式。

Basic Capture不会重置正在活动的适配器，也不会重新启动未使用的适配器。也就是说，该模式下所有适配器状态保持不变。如果可能中断业务，Basic Capture将不会立即启动固件dump。

Basic Capture执行以下操作：

·     获取所有可用的配置文件和日志文件

·     获取现有的适配器中的dump文件（如果存在）

·     获取部分类型适配器上的闪存保留的dump文件（如果存在）

(2)     Full Capture

 

Full Capture将执行以下操作：

·     获取所有可用的配置文件和日志文件

·     获取现有的适配器中的dump文件（如果存在）

·     获取部分类型适配器上的闪存保留的dump文件（如果存在）

·     对于部分类型适配器，将执行dump操作，生成dump文件

(3)     Safe Capture

Safe Capture收集所有可用的实时信息和已有的适配器dump文件，但不执行任何新的dump操作。任一适配器都不会中断I/O。如果面对不可中断I/O或要待收集信息的适配器是引导设备时，请使用此模式收集现有的日志和dump文件。

Safe Capture执行以下操作：

·     获取所有可用的配置文件和日志文件

·     获取现有的适配器中的dump文件（如果存在）

(4)     Minimal Capture

Minimal Capture将收集固件dump文件。如果时间紧迫，请使用此模式收集信息。

仅Linux和VMware操作系统支持最小获取。Solaris不支持此模式。在Windows中，可以通过自定义获取功能将数据收集限制为仅收集固件dump文件。

(5)     Custom Capture

Custom Capture允许用户从各种获取参数中选择所需的内容。可以在工具页面复选框列表中或使用CLI中的/Component参数选择要获取的组件。

4. Windows系统中的Capture工具使用方法（可视化工具）

 

使用GUI方式运行Emulex HBA Capture工具，请执行如下步骤：

(1)     官网下载OneCapture_<version>.zip文件。

(2)     解压缩文件。

(3)     运行OneCapture.exe文件。

 

(4)     以管理员身份运行Emulex HBA Capture工具，不需要任何特殊步骤。可以不受限制地查看所有输出文件。

a)     要以具有管理员特权的用户身份运行Emulex HBA Capture工具，GUI会提示您输入管理员用户名和密码。

b)     对于非管理员，GUI会提示您输入管理员用户名和密码。查看输出文件可能受到限制。在这种情况下，必须授予所需的用户访问输出文件夹的权限。通常，此文件夹位于\Users\Administrator\Documents\Emulex中。

(5)     从弹出窗口中，选择存储输出文件的位置。您可以保留默认路径或指定其他路径。

(6)     从下拉菜单中，选择要使用的Capture模式。您可以选择Basic、Safe、Full或Custom。对于不同模式的区别请参见5.8.2  3. 日志收集工具Capture介绍。

(7)     单击“OK”。如果选择了Full Capture模式，请选择待收集数据的适配器，然后单击“OK”。

图5-27 选择按照Full Capture模式收集的适配器

 

(8)     选择需要获取的特定项目。例如，在“Adapter Dump Informtion”下，您可以选择以下选项：

a)     Adapter Basic Information执行Basic Capture模式。

b)     HBA Resident Dump获取现有的dump文件。

c)     HBA Firmware Down生成并获取固件dump。

d)     HBA FW Log为选定的适配器生成固件日志。（仅部分系列支持）

图5-28 选择获取时的参数

 

(9)     单击“OK”。Emulex HBA Capture工具收集指定信息并将结果文件放置在指定的文件夹中。

图5-29 “Capture Completed Successfully”对话框

 

a)     您可以展开Success Capture行以查看待获取的项目是否已成功获取。

b)     您可以展开HBA Firmware Down验证是否为每个请求的适配器都创建了.bin文件。

c)     您可以展开HBA Resident Dump确定是否获取了所有驻留dump文件。

d)     如果其中一行表明存在错误，则可以将鼠标悬停在该行上以查看与之相关的错误。星号表示未创建的文件。

(10)     单击“Output Folder”以打开存储输出文件的目录并退出Emulex HBA Capture，或单击“Close”退出Emulex HBA Capture。

(11)     生成的日志文件详细信息请参见5.8.2  5. (6)日志文件说明。

5. Windows系统中的Capture工具使用方法（CLI方式）

使用CLI方式运行Emulex HBA Capture工具，请执行如下步骤：

(1)     下载并解压OneCapture_<version>.zip文件。

(2)     从cmd运行OneCapture.exe命令。您需要指定对应的参数信息。

 

(3)     以管理员身份运行Emulex HBA Capture工具，不需要任何特殊步骤。可以不受限制地查看所有输出文件。

a)     要以具有管理员特权的用户身份运行Emulex HBA Capture工具，请使用“以管理员身份运行”启动cmd，并输入管理员用户名和密码。可以不受限制地访问所有输出文件。

b)     对于非管理员，请使用“以管理员身份运行”启动cmd，然后输入管理员用户名和密码。查看输出文件可能受到限制。在这种情况下，必须授予所需的用户访问输出文件夹的权限。通常，此文件夹位于\Users\Administrator\Documents\Emulex中。

(4)     在命令行中，定义所需的Capture类型。以下CLI参数可用于定义所需的Capture类型：

/? or /H or /help

显示有关命令用法和支持的参数的简要指南。

/L or /ListAdapters

列出发现的适配器。list参数显示每个适配器的适配器编号（0、1，...），该编号在dump命令中用于指定/Adapters参数。

/Quiet or /Q

强制获取而不显示警告消息或提示。

/Directory=<OutputDirectory> or /D=<OutputDirectory>

指定Capture工具输出zip文件的目录。缺省为运行CLI的工作目录。

/Filename=<OutputFilename> or /N=<OutputFilename>

指定工具输出的zip文件时使用的文件名。缺省为OneCapture_Windows_<date-time>.zip。

/BasicCapture or /B

指定为BasicCapture模式。

/SafeCapture or /S

指定为SafeCapture模式。

/FullCapture或/F

指定为FullCapture模式，需要配合/Adapters参数。请注意此参数可以临时中断正在活动的适配器上的I/O，并且可以强制使正在活动适配器脱机，请确保不会影响业务时执行该操作。

/Adapters=<AdapterNumber | <list> | all>

仅与/FullCapture一起使用。此参数用于指定待获取日志信息的适配器编号。

/Components=< <component> | <list> > or /Components=< <component> | <list>>

默认情况下，Emulex HBA Capture工具收集多种类型的组件，例如驱动程序信息和磁盘信息。此参数用于指定需要获取的单个组件信息，而忽略其余所有组件。您可以指定单个组件或组件列表，并以逗号分隔。以下是可用组件的列表：

·     autopilot–预配置信息

·     disk–磁盘信息

·     driver–驱动信息

·     elxtrace–ELX跟踪信息

·     sestats–SEstats日志

·     system–系统信息

·     hba/attr–HBA属性

·     hba/fwlog-HBA固件日志

·     hba/info–HBA信息

·     hba/list–HBA列表

·     hba/residentdump–驻留的dump文件

·     mpio–MPIO信息

·     ehm/dumps–Emulex HBA Manager工具收集的dump文件

·     ehm/log–Emulex HBA Manager工具日志

·     ehm/nvme–NVMe信息

·     ehm/status–Emulex HBA Manager工具状态

·     win/event–Window事件日志

·     win/setup–Windows安装程序日志

示例：通过命令行指定为FullCapture模式并获取所有适配器参数信息，将输入文件命名为output.zip，并将其放置于C:\Capture\LP。

OneCapture.exe  /FullCapture  /Adapters=ALL  /Directory=C:\Capture\LP  /FileName=output.zip

(5)     日志文件摘要

Capture工具在获取过程结束后会生成一个输出摘要文件。该文件显示应获取的关键项目的列表，以及获取是否成功，您可以通过此文件验证收集的输出是否有效。

图5-30 日志文件摘要

 

(6)     日志文件说明

Capture工具将创建一个包含所有获取的组件信息的zip文件。该zip文件名为OneCapture_Windows_<date-time>.zip。

·     GUI：缺省输出目录为MyDocuments\Emulex。

·     CLI：缺省为运行CLI的工作目录，可以通过/Directory参数修改输出目录，具体参见Windows命令行参数。

解压生成文件即可查看各组件信息，此外目录中包含OneCapture-<Operating_System>.html文件。

OneCapture-<Operating_System>.html是获取的组件的可导航目录。在浏览器中打开此文件时，可以浏览获取的组件信息。或者，您可以通过浏览目录中的文件直接检查获取的组件信息。

适配器dump文件放置在名为dump/CoreDump的目录中。通常，用户无需单独检查这些文件，可以将文件提供给技术支持用于进一步定位问题。

 

6. Linux/Citrix/Solaris操作系统中的Capture工具使用方法

 

(1)     使用前准备

·     执行脚本需要具有root用户的可执行权限。

·     必须安装以下库文件才能运行Emulex HBA Capture工具：

¡     linuxvdso.so

¡     libstdc++.so

¡     libgcc_s.so

¡     libc.so

¡     libm.so

¡     libz.so

¡     libpci.so

¡     libpthread.so

¡     libnl.so

¡     librt.so

¡     libresolv.so

·     Emulex HBA Capture工具必须能够访问以下目录：

¡     /var/log/

¡     /sys/class/

¡     /proc/

¡     /etc/

¡     /boot/

¡     /usr/sbin/ocmanager/

·     在运行Emulex HBA Capture工具之前，请先停用端口。

(2)     操作步骤

 

a)     以root用户身份登录。

b)     通过SSH或其他方法将OneCapture_Linux_<version>.tgz工具上传到系统上，然后解压缩得到脚本OneCapture_Linux.sh文件。

c)     将脚本更改为可执行模式，例如：

chmod 777 OneCapture

d)     根据需求，确认对应参数，运行shell脚本。有关参数，请参见“Linux，Citrix CLI参数”。例如：

./OneCapture_Linux.sh --BasicCapture

e)     脚本执行时会显示脚本的进度，请确保脚本执行完成。

图5-31 脚本执行进度

 

f)     Emulex HBA Capture脚本完成信息收集后，将在其当前工作目录中创建一个压缩文件。打开该文件即可以查看获取到的信息。

(3)     日志文件说明

Emulex HBA Capture工具将创建一个包含所有获取到的组件信息的.tgz文件。该.tgz文件名为OneCapture_<Operating_System>_<date-time>.tgz。该文件放置在运行Emulex HBA Capture工具的工作目录中。

要检查输出的.tgz文件中的项目，请先将其解压缩。此操作将在当前工作目录中创建一个名为dump的目录。它还在当前工作目录中创建一个文件，称为OneCapture-<Operating_System>.html。

OneCapture-<Operating_System>.html是获取的组件的可导航目录。在浏览器中打开此文件时，可以浏览获取的组件信息。或者，您可以通过浏览dump目录中的文件直接检查获取的组件信息。

适配器dump文件放置在名为dump/CoreDump的目录中。通常，用户无需单独检查这些文件，可以将文件提供给技术支持用于进一步定位问题。

 

Emulex HBA Capture工具在获取过程结束时会生成一个输出摘要文件。该文件会显示应获取的关键项目的列表，以及获取是否成功，由此您可以验证收集的信息是否有效。

图5-32 输出摘要文件

 

(4)     脚本执行参数信息说明

-h或--help

显示帮助文本。

-L或--ListAdapters

列出发现的适配器。ListAdapters参数显示每个适配器的适配器号（0、1，...），该数字在--Adapters参数的dump命令中使用。

 

-Q或--Quiet

强制获取而不显示警告消息或提示。

-X或--NoCrashDump

不收集/ var / crash下的故障dump文件。

-B或--BasicCapture

指定为BasicCapture获取模式。

-F或--FullCapture

指定为FullCapture获取模式，请同时使用--FullCapture和--Adapters参数。请注意此参数可以临时中断正在活动的适配器上的I/O，并且可以强制使正在活动适配器脱机，请确保不会影响业务时执行该操作。

-S或--SafeCapture

指定为SafeCapture获取模式。

-M或--MinimalCapture

指定为MinimalCapture获取模式，该参数可以和BasicCapture或FullCapture一起使用。可以通过MinimalCapture模式来获取以下项目：

¡     内核日志

¡     内核配置

¡     适配器信息

-A=<AdapterNumber | <list> | all> or --Adapters=<AdapterNumber | <list> | all>

仅与--FullCapture参数一起使用。此参数将对指定适配器执行dump操作。

(5)     脚本执行举例

·     BasicCapture获取模式下执行

./OneCapture_Linux.sh --BasicCapture

·     FullCapture获取模式下执行，指定获取2,3号适配器的dump文件

./OneCapture_Linux.sh --FullCapture --Adapters=2,3

·     FullCapture获取模式下执行，获取所有适配器的dump文件

./OneCapture_Linux.sh --FullCapture --Adapters=all

·     MinimalCapture获取模式下执行，快速获取所有适配器的dump文件。

./OneCapture_Linux.sh -A = All -M -F

7. VMware系统中的Capture工具使用方法

 

(1)     准备工作

在VMware ESXi系统上运行Emulex HBA Capture实用程序之前，必须通过执行以下操作启用ESXi Shell：

a.     在ESXi系统主屏幕上按F2。

b.     选择Troubleshooting Options。

c.     选择Enable ESXi shell启用ESXi Shell。

d.     在运行Emulex HBA Capture工具之前，请先停用端口，以免造成业务影响。

(2)     运行日志收集脚本

在ESXi系统上运行Emulex HBA Capture工具，请执行以下步骤：

a.     以root用户身份登录。

b.     下载脚本文件压缩包OneCapture_ESX_<version>.tgz。

c.     解压压缩包文件：tar -zxvf OneCapture_ESX_<version>.tgz。

d.     在脚本放置目录中，键入以下命令以显示可用的目标卷：

./OneCapture_ESX.sh [-T | --ShowVolumes]

图5-33 显示可用的目标卷

 

e.     您可以通过键入[-V | --Volume] = volume_id参数来选择dump的目标卷，为了获得最佳效果，请指定较大的本地卷。

如果未发出-V参数，则会显示类似以下的消息。当您接受建议的目标卷时，键入Y。

图5-34 建议目标卷

 

f.     使用指定的选项运行相应系统的Shell脚本，将同时显示脚本的执行进度。

图5-35 脚本的执行进度

 

(3)     日志文件说明

Emulex HBA Capture工具将创建一个压缩的tarball文件。该文件放置在指定的卷中。打开文件以查看信息。

(4)     日志文件摘要

Emulex HBA Capture工具在获取过程结束时会生成一个输出摘要文件。该文件显示应获取的关键项目的列表，以及获取是否成功，通过该文件您可以验证收集的输出是否有效。

图5-36 日志文件摘要

 

(5)     ESXi命令行参数说明

以下CLI参数可用于ESXi系统。

-h或--help

显示帮助文本。

-T或--ShowVolumes

列出可用的卷。用于判断哪些卷ID可以在-V或--Volume参数中使用。

-V或--Volume（可选）

指定dump文件存储的卷。为了获得最佳结果，请为dump文件指定较大的本地卷。如果未发出-V参数，则会显示一条消息，询问您是否要使用检测到的可用空间最大的卷。键入Y继续。

-L或--ListAdapters

列出发现的适配器。ListAdapters参数显示每个适配器的适配器号（0、1，...），该数字在--Adapters参数的dump命令中使用。

-Q或--Quiet

强制获取而不显示警告消息或提示。

-B或--BasicCapture

指定为BasicCapture模式。

-F或--FullCapture

指定为FullCapture模式。请注意此参数可以临时中断正在活动的适配器上的I/O，并且可以强制使正在活动适配器脱机，请确保不会影响业务时执行该操作。

-S或--SafeCapture

指定为SafeCapture模式。

-A= | all> or --Adapters= | all>

仅与--FullCapture参数一起使用。此参数将对指定适配器执行dump操作。

-SVM或--SkipVMsupport

此选项使Capture工具跳过对vm-support数据的收集。

5.9  收集GPU相关日志

5.9.1  常见的GPU故障收集方式

表5-12 GPU故障信息收集方式

收集项	收集方法	收集内容
故障现象	整理现场情况，拍照或截图	现场情况的拍照或截图
SDS日志	·     HDM Web页面下收集 ·     通过定制化运维工具盘Unitool的collect_all_log功能	.sds或.tar.gz格式的日志
delta FPGA日志	·     串口登录机器，记录i2c-test的打印情况 ·     HDM2.70及其之后版本可使用ipmitool工具收集	·     i2c-test的打印结果，保存成txt ·     收集ipmi打印回显
系统日志	·     执行sosreport命令获取 ·     进入/var/log文件目录，复制所有文件名包含messages和dmesg的文件及文件夹	·     sosreport ·     message、dmesg等文件
Nvidia-bug-report	操作系统下执行nvidia-bug-report.sh	nvidia-bug-report.log.gz
nvidia-smi信息	操作系统下执行命令获取： ·     nvidia-smi > nvidia_smi.log ·     nvidia-smi -a >nvidia_smi_a.log	·     nvidia_smi.log ·     nvidia_smi_a.log
FM服务运行状态、版本信息、服务日志	·     systemctl status nvidia-fabricmanager.service > FMstatus.log ·     journaltcl -u nvidia-fabricmanager >FMprocess.log ·     rpm -qa | grep -i nvidia	·     FMstatus.log ·     FMprocess.log ·     所有已安装的软件包
lspci信息	·     lspci -tv >> lspci.log ·     lspci -nnvvv >> lspci.log ·     lspci -xxxx >> lspci.log	以不同维度收集链路信息lspci.log
Fieldiag诊断工具	·     操作系统下执行 fieldiag命令获取 ·     工具的logs目录下收集	Logs-xxx.tgz格式的日志
诊断日志文件	使用FieldDiag现场诊断工具，具体请参见5.9.2  GPU FieldDiag现场诊断工具使用方法	·     GPU configuration information   ·     MODS version number  等

 

5.9.2  PCIe GPU FieldDiag现场诊断工具使用方法

1. 工具介绍

·     FieldDiag工具是nvidia开发的现场诊断工具，当GPU报出硬件错误时，可用此工具进行诊断。针对不同类型的GPU工具不同，工具分为不同版本，此指导针对Telsa、Ampere等通用型PCIe GPU（与HGX类型GPU使用工具版本不通用）。

·     不同的GPU在FieldDiag工具中的执行测试项存在差别，工具运行时长也不同。

·     FieldDiag请访问Nvidia Nvonline官网或联系技术支持获取。

2. 环境要求

·     Linux kernel 2.6.16 or later （出于性能考虑，推荐使用2.6.29或更高版本的内核。该工具已经在内核2.6.16到2.6.35中进行了测试。）

·     如果系统中存在nouveau驱动，需进行拉黑

使用以下命令以下进入vim编辑页面按i进入编辑状态：

¡     vim /etc/modprobe.d/blacklist-nouveau.conf

添加两条语句：

¡     blacklist nouveau

¡     options nouveau modeset=0

使用以下命令查看是否添加成功：

¡     cat  /etc/modprobe.d/blacklist-nouveau.conf

将系统init文件进行备份：

¡     mv  /boot/initramfs-$(uname -r).img  /boot/initramfs-$(uname -r).img.bak

将系统init文件进行重组：

¡     dracut  -v  /boot/initramfs-$(uname -r).img  $(uname -r)

或者直接使用dracut -force命令，重启  reboot

查看系统通用驱动是否拉黑（未获取到任何信息即代表拉黑成功）：

¡     lsmod |grep -i nouveau

3. 运行工具

(1)     关闭GPU的MIG模式（可选，一部分GPU会存在MIG模式）

多实例图形处理器(MIG)模式，支持A100图形处理器。当运行FieldDiag时应该关闭。

使用命令：

¡     使用nvidia-smi查看MIG模式是否开启（Enable Disable）

¡     nvidia-smi -i <GPU IDs> -mig 1（开启MIG模式）

¡     nvidia-smi -i <GPU IDs> -mig 0（关闭MIG模式）

执行命令后重启系统生效

(2)     新建文件夹，将FieldDiag工具包放置在文件夹下并解压，使用命令：

¡     mkdir FieldDiag

¡     cd FieldDiag

¡     tar –zvxf 629-INT18-UNIV-ALL.tgz

(3)     进入文件夹下，安装执行环境并加载工具模块

¡     在FieldDiag目录下使用命令：

¡     ./install_module.sh  -i

¡     出现modprobe mods则说明模块加载成功，即可执行工具

(4)     执行FieldDiag工具，在FieldDiag目录下使用命令：

¡     ./FieldDiag

图5-37 在FiledDiag目录下使用命令

 

工具执行时，界面会显示如下信息:

 “Running test X on GPU n - Y tests remaining  |=======  | Z %”

这里：

¡     X 是当前正在执行的测试号

¡     n 是GPU序列号

¡     Y 是剩余的测试项

¡     Z 是总体完成的百分比

如: Running test 208 on GPU 0 - 118 tests remaining   |===========   | 64 %

测试完成后，如果测试完成，能看到打印测试结果PASS或FAIL，且会在当前文件夹下生成诊断log，默认情况下，FieldDiag会生成一个二进制日志文件。

4. 运行结果解析

(1)     运行结果分类

诊断完成后，如果正常完成，error code将返回0到shell。如果发生错误，它将返回1到shell，如果需要重新测试，它将返回2。它还会在屏幕上打印“PASS”、“FAIL”或“RETEST”

¡     PASS – 硬件诊断完成

¡     FAIL – 硬件诊断失败

¡     RETEST – 诊断的预检查部分硬件设置失败，出现一条描述问题的警告消息。根据预检查消息纠正问题，然后再次测试

图5-38 正常完成error code返回0

 

(2)     日志文件会包括如下信息

¡     GPU configuration information

¡     MODS version number

¡     MODS kernel driver version

¡     Linux kernel version

¡     ECC errors and retired pages

日志文件中没有客户数据、系统配置信息、系统上运行的进程，也没有来自MODS文件夹以外文件夹的数据。

(3)     日志文件名包含信息

日志文件名包含了基本的测试结果信息，以及被测单板的序列号:

FieldDiag_<PASS/FAIL/CONFIG>_<serial number>.log

5.9.3  HGX GPU FieldDiag现场诊断工具使用方法

1. 测试步骤

以下步骤以HGX H800 GPU为例，使用的是Fieldiag ISO镜像方式进行测试，此方式最为简便不依赖于系统。其他HGX步骤与此一致，但是测试使用的工具包不一样，请注意区分

(1)     在服务器KVM上挂载Fieldiag ISO镜像，以下以按Fieldiag ISO镜像为例。

 

(2)     在BIOS Exit页面下选择镜像选项“Virtual CD-ROM，Partition 1”并进入。

图5-39 选择Virtual CD-ROM

 

(3)     进入Fieldiag ISO系统，进入/mnt/nv/tiny目录下。

图5-40 进入Fieldiag ISO系统

 

(4)     因为此目录为只读目录无法进行测试，将629-24287-XXXX-FLD-39387.tgz拷贝至/root目录下。

图5-41 拷贝文件

 

(5)     进入root目录下，输入“tar -zxvf 629-24287-XXXX-FLD-39387.tgz”解压文件，并进入解压后的629文件夹，输入 “ls”查看内容。

图5-42 解压文件

 

(6)     执行“./fieldiag.sh --sit --no_bmc”，--sit可以替换--level1或--level2。

2. 收集日志

测试完成后在629-24287-XXXX-FLD-38379目录下可看到一个logs的文件夹，日志文件名为logs-xxxxx.tgz（其中xxxx为测试时间）。

 

5.10  收集网卡相关日志

5.10.1  Intel网卡日志收集

本章节介绍如下Intel网卡的日志收集方法。Intel® Ethernet 800系列网卡支持对特定的模块生成固件日志，并且可以修改每种模块输出的详细程度，可用的详细级别为：

¡     0 = none

¡     1 = error

¡     2 = warning

¡     3 = normal

¡     4 = verbose

如果怀疑异常情况可能属于表5-13中包含的事件类别，可以设置在固件日志中输出相应模块更多详细信息：

表5-13 异常情况对应的事件类别及模块

事件类别	模块
Initialization	·     Control
NVM	·     NVM ·     Authentication ·     VPD
I/O	·     I2C ·     SDP ·     MDIO
Link Management	·     Link Management ·     Link Control Technology ·     Link Topology Detection
Rx	·     Parser ·     Switch ·     ACL ·     Post
Tx	·     Scheduler ·     Tx Queue Management
AQ Interface	·     Admin Queue ·     HDMA
Manageability	·     Manageability
Protocols	·     LLDP ·     DCBx
Infrastructure	·     Watchdog ·     Task Dispatcher ·     General ·     IOSF ·     PF Registration ·     Module Versions
XLR	·     XLR
QoS	·     DCB
Diagnostics	·     SyncE ·     Health
TimeSync	·     Time Sync

 

2. 日志收集方法（Windows操作系统）

l     Windows系统中可以使用PowerShell和Intel Ethernet cmdlets对固件日志进行配置

以下简单介绍日志的收集方法：

(1)     访问intel官网，下载Ethernet_cmdlets.zip，在系统中解压 ，双击Ethernet_Cmdlets.exe进行安装

(2)     在PowerShell中使用如下命令来查看设备名称、可用的模块（Module）和详细程度（Level）

C:\> Get-IntelEthernetLogConfig

图5-43 查看设备名称等

 

(3)     通过Set-IntelEthernetLogConfig来设置固件日志中包含的模块及详细程度，例如：

C:\> Set-IntelEthernetLogConfig -Name "Intel(R) Ethernet Network Adapter E810-XXV-2" -Module "Link Management" -Level "Verbose”

(4)     使用如下命令开始收集固件日志：

C:\> Start-IntelEthernetLog -Name "设备名"

    固件日志会被自动保存到下图所示路径中：

图5-44 收集固件日志

 

(5)     执行必要步骤复现问题

(6)     使用如下命令停止收集固件日志：

C:\> Stop-IntelEthernetLog

 

3. 日志收集方法（Linux操作系统）

·     ice 驱动程序会将固件日志以二进制格式生成，并打印到dmesg日志中，可以通过fwlog_events参数来设置固件日志中需要包含的模块信息，每种模块对应的fwlog_events取值情况如表5-14所示：

表5-14 不同模块对应的fwlog_events取值情况

模块	fwlog_events
General	00000001  (Bit 0)
Control	00000002  (Bit 1)
Link Management	00000004  (Bit 2)
Link Topology Detection	00000008  (Bit 3)
Link Control Technology	00000010  (Bit 4)
I2C	00000020  (Bit 5)
SDP	00000040  (Bit 6)
MDIO	00000080  (Bit 7)
Admin Queue	00000100  (Bit 8)
Host DMA	00000200  (Bit 9)
LLDP	00000400  (Bit 10)
DCBx	00000800  (Bit 11)
DCB	00001000  (Bit 12)
XLR	00002000  (Bit 13)
NVM	00004000  (Bit 14)
Authentication	00008000  (Bit 15)
VPD (Vital Product Data)	00010000  (Bit 16)
IOSF (Intel OnChip System Fabric)	00020000  (Bit 17)
Parser	00040000  (Bit 18)
Switch	00080000  (Bit 19)
Scheduler	00100000  (Bit 20)
TX Queue Management	00200000  (Bit 21)
ACL (Access Control List)	00400000  (Bit 22)
Post	00800000  (Bit 23)
Watchdog	01000000  (Bit 24)
Task Dispatcher	02000000  (Bit 25)
Manageability	04000000  (Bit 26)
SyncE	08000000  (Bit 27)
Health	10000000  (Bit 28)
Time Sync	20000000  (Bit 29)
PF Registration	40000000  (Bit 30)
Module Version	80000000  (Bit 31)

·     可以通过fwlog_level参数来定义每种模块输出日志的详细程度

 

以下简单介绍日志的收集方法：

(1)     使用如下命令卸载驱动：

# rmmod ice

(2)     将dmesg中的固件日志保存到文件：

# dmesg -w > firmware.log

(3)     使用如下命令加载驱动，并根据需要配置模块及输出详细程度：

# insmod ice.ko dyndbg="+p" fwlog_events=<bitmask> fwlog_level=<0-4>

(4)     执行必要步骤复现问题，固件日志将保存到firmware.log中。

(5)     日志收集完毕后，请移除驱动并重新加载，dmesg中的固件日志会继续保持禁用状态。

4. 日志收集方法（VMware操作系统）

l     在vmware系统中，使用 esxcfg-module对固件日志进行配置，固件日志将会输出到dmesg中，且标签为FWLOG。

以下简单介绍日志的收集方法：

(1)     通过如下命令启用固件日志，并指定模块（FWLogEvents）和输出详细程度（FWLogLevel）：

# esxcfg-module icen -s 'FWLogEnable=1 FWLogEvents=<bitmask> FWLogLevel=<0-4>'

其中，FWLogEnable表示在指定PF上启用固件日志记录功能（0=禁用，1=启用），可以使用逗号分割每个PF的值，第一个值用于 PF0，第二个值用于 PF1

(2)     重启系统使配置生效。

(3)     系统重启后，执行必要步骤复现问题，固件日志将输出到dmesg日志中，可以通过如下命令将dmesg保存到firmware.log中：

# dmesg  > firmware.log

(4)     通过如下命令关闭固件日志输出：（重启后生效）

# esxcfg-module icen -s 'FWLogEnable=0 FWLogEvents=0 FWLogLevel=0'

5.10.2  Mellanox网卡日志收集

本章节介绍如下Mellanox网卡的日志收集方法。Mellanox网卡指生产厂家为Mellanox的标准以太网卡和智能网卡。对于智能网卡，除了收集Host下的日志外，还需要登录智能网卡的SOC系统收集日志，参照 6. 智能网卡日志收集方法（SOC内部）。

1. 区分方法

l     从外观区分：传统以太网卡只有光接口或者电接口，而智能网卡是除两个光接口之外还有一个RJ45管理口（下图是MBF2H332A示例，仅供参考）；

图5-45 智能网卡形态

 

l     从网卡PN区分：智能网卡是MBF***（Mellanox Bluefield），传统以太网卡是MCX***。

图5-46 智能网卡PN

 

2. 日志收集工具

Mellanox网卡日志收集工具，如表5-15所示。需要注意的是，该工具仅用于日志信息收集，不会收集任何用户信息，也不会对业务造成影响。如需获取工具请联系技术支持。

表5-15 Mellanox网卡日志收集工具

操作系统	工具名称	下载链接
Windows	MFT	https://network.nvidia.com/products/adapter-software/firmware-tools/
Linux	MFT	https://network.nvidia.com/products/adapter-software/firmware-tools/
VMware	MFT	https://network.nvidia.com/products/adapter-software/firmware-tools/

 

3. 日志收集方法（Windows操作系统）

前提：当前OS已经安装MFT工具和mellanox Driver

(1)     以管理员权限打开cmd，进入默认mft工具目录下，默认路径为：\Program Files\Mellanox\WinMFT，执行mst status 查看MST devices信息；

(2)     进入Mellanox驱动安装目录，默认路径为：\Program Files\Mellanox\MlNX_WinOF2\DiagnosticTools\MLNX_System_Snapshot.exe，以管理员权限打开MLNX_System_Snapshot工具，点击Set target file设置日志保留路径及文件名，点击Generate System-Snapshot生成系统快照日志。

(3)     日志收集完成之后桌面提示snapshot file***created successfully。

图5-47 Mellanox网卡日志收集成功

 

4. 日志收集方法（Linux操作系统）

前提：当前OS已经安装MFT工具和mellanox Driver。

(1)     启动工具服务：执行mst start；

(2)     查看MST devices信息：执行mst status；

(3)     系统信息收集

通过 sysinfo 工具可以收集完整的系统信息，包含系统配置，网卡配置， FW 版本，驱动日志等，如果用户已经安装了完整的 OFED 包，则该工具已自动安装，存在于/usr/sbin/目录下，直接执行sysinfo-snapshot.py 脚本即可。如果没有 OFED 驱动，则可按如下方式下载后执行脚本：

·     git clone https://github.com/Mellanox/linux-sysinfo-snapshot.git

·     tar -zxvf sysinfo-snapshot-<version>.tgz

·     ./sysinfo-snapshot.py

脚本执行完成后会在/tmp 目录下生成日志包, 比如:sysinfo-snapshot-v3.6.5.5-localhost.localdomain-20230328-134721.tgz.

图5-48 通过sysinfo工具收集系统信息

 

(4)     网卡 dump 日志收集

在分析网卡故障时，通常需要连续抓取 3 次网卡 dump，间隔 15s，执行操作如下：

mst start  &  mst status

mstdump  <MST device>  > *** 1.dmp

mstdump  <MST device>  > *** 2.dmp

mstdump  <MST device>  > *** 3.dmp

tar –cvf  dumps.tar  mstdump *

图5-49 网卡dump日志收集

 

5. 日志收集方法（VMware操作系统）

以下简单介绍日志的收集方法：

前提：当前OS已经安装MFT工具和mellanox Driver。

(1)     使用VMware系统自带的vm-support收集os下日志，收集完成之后会生成已esx-***.tgz文件，并显示保存路径。

图5-50 使用vm-support收集os下日志

 

(2)     收集 /var/log/vmkernel.log 日志。

图5-51 收集vmkernel.log日志

 

(3)     网卡 dump 日志收集

在分析网卡故障时，通常需要连续抓取 3 次网卡 dump，间隔15s，执行操作如下：

/opt/mellanox/bin/mst start

/opt/mellanox/bin/mst status

/opt/mellanox/bin/mstdump <MST device> > *** 1.dmp

/opt/mellanox/bin/mstdump <MST device> > *** 2.dmp

/opt/mellanox/bin/mstdump <MST device> > *** 3.dmp

tar -cvf dumps.tar mstdump*

图5-52 网卡dump日志收集

 

6. 智能网卡日志收集方法（SOC内部）

(1)     如果是配置Bluefield智能网卡的服务器，当遇到网卡故障的情况，除了收集Host服务器的sysinf-snapshot日志和dump日志外，还需要登录智能网卡的arm系统，使用sysinfo-snapshot.py脚本和mstdump收集arm系统下日志；

(2)     Host下执行ip addr add 192.168.100.1/30 dev tmfifo_net0给管理网口分配ip；

(3)     执行ssh ubuntu@192.168.100.2使用ssh登录智能网卡arm系统，输入账号密码；

注：上述使用的用户名ubuntu是以mellanox官方arm os的用户名为例。

图5-53 收集arm系统日志

 

(4)     日志收集方法与linux系统相同, 进入/usr/sbin/目录执行sysinfo-snapshot.py，然后使用mstdump连续抓取 3 次网卡 dump，间隔 15s。

5.10.3  BroadCom网卡日志收集

本章节介绍如下Broadcom网卡的日志收集方法。Broadcom网卡指生产厂家为Broadcom的以太网卡,脚本工具仅用于日志信息收集，不会收集任何用户信息，也不会对业务造成影响。

1. 日志收集方法（Windows操作系统）

需要通过执行脚本来收集日志信息。脚本工具获取、日志收集的方法，均请参见Broadcom官网或联系技术支持。以下介绍日志的收集方法：

在复现时抓取以下日志（确保固件与驱动版本保持一致避免收集日志失败）

·     系统日志

在操作系统下单击[计算机/管理]菜单项，打开服务器管理器

单击[工具/事件查看器]菜单项，打开事件查看器。

单击[Windows日志/系统/将所有事件另存为]菜单项，导出并保存日志文件。

图5-54 Windows系统日志收集

 

·     利用固件升级工具收集coredump

¡     进入AutoUpgrade_windows_224.1.102.0b_H3C_V01a_20221215目录下执行bnxtnvm.exe listdev查看当前Broadcom网卡信息

图5-55 使用固件升级工具收集

 

¡     执行bnxtnvm.exe -dev=<ethx> coredump 在当前文件夹生成.core文件

图5-56 生成core文件

 

2. 日志收集方法（Linux操作系统）

需要通过执行脚本来收集日志信息。脚本工具获取、日志收集的方法，均请参见Broadcom官网或联系技术支持。

以下简单的介绍日志的收集方法及操作截图：

在复现时抓取以下日志（确保固件与驱动版本保持一致避免收集日志失败）

·     dmesg 日志

¡     dmesg > dmesg.log

·     网卡固件驱动版本

¡     ethtool -i ens

·     网卡收发包

¡     ethtool -S ens

·     光模块信息

¡     ehtool -m ens

·     网卡物理地址信息

¡     ethtool -i ens| grep 'bus-info'

¡     lspci -s <bus号> -vvv

·     利用固件升级工具收集coredump

¡     进入nvmUpgrade_222.1.68.0d_H3C_V2_20221109/utils目录下运行命令

¡     #chomd 777 -R *

¡     ./bnxtnvm -dev=ens5f0np0 coredump

图5-57 使用固件工具收集coredump

 

3. 日志收集方法（VMware操作系统）

需要通过执行脚本来收集日志信息。脚本工具获取、日志收集的方法，均请参见Broadcom官网或联系技术支持。以下简单介绍日志的收集方法及操作截图：

在复现时抓取以下两个日志（确保固件与驱动版本保持一致避免收集日志失败）

·     VMware下设置命令“esxcfg-modules- s ‘debug=0x7FFFFFFF’  bnxtnet”，如图5-54所示。

图5-58 执行脚本收集日志信息

 

·     dmesg 日志

利用固件升级工具收集coredump文件，进入nvmUpgrade_216.0.292.0a_esxi_v01_20200809/utils目录下运行命令：

¡     #chomd 777 -R *

¡     ./bnxtnvm -dev=vmnic0 coredump

5.10.4  通用网卡日志收集

通用网卡日志收集方法面向没有专有方法的网卡。对于Linux系统，如果无法使用sosreport工具收集日志，则需要按照收集网卡相关日志（Linux操作系统）章节操作。

1. 收集系统日志

请参考章节5.2 收集操作系统日志

2. 收集网卡相关日志（Linux操作系统）

收集网卡基本信息：

·     ip address > ip_address.log

·     ip -s link show > ip_link_show.log

·     ethtool “网口名” > ethtool.log

·     ethtool -m “网口名” > ethtool_m.log

·     ethtool -i  “网口名” > ethtool_i.log

·     ethtool -k “网口名” > ethtool_k.log

·     ethtool -S “网口名” > ethtool_S.log

·     ethtool -c “网口名” > ethtool_c.log

·     ethtool -x “网口名” > ethtool_x.log

·     ethtool --show-fec “网口名” > ethtool_fec.log

·     ethtool -a “网口名” > ethtool_a.log

·     tar -zcvf ethtool_log.tar.gz *.log