目  录

1 安全

1.1 安全信息

1.1.1 运行安全

1.1.2 电气安全

1.1.3 电池安全

1.2 安全注意事项

1.3 静电防护

1.3.1 防止静电释放

1.3.2 防止静电释放的接地方法

1.4 设备标识

2 认识R5300 G3

2.1 简介

2.2 规格参数

2.2.1 产品规格

2.2.2 技术参数

2.3 GPU配置方案

2.4 部件

2.5 前面板

2.5.1 服务器前面板组件

2.5.2 指示灯和按钮

2.5.3 接口

2.6 后面板

2.6.1 后面板组件

2.6.2 后面板指示灯

2.6.3 接口

2.7 GPU计算模块

2.7.1 GPU计算模块类型

2.7.2 GPU节点板布局

2.8 主板

2.8.1 主板布局

2.8.2 系统维护开关

2.8.3 内存插槽

2.9 硬盘

2.9.1 硬盘配置

2.9.2 硬盘编号

2.9.3 硬盘指示灯

2.10 风扇模块

2.11 部件安装准则

2.11.1 SAS/SATA硬盘

2.11.2 NVMe硬盘

2.11.3 电源模块

2.11.4 存储控制卡及掉电保护模块

2.11.5 GPU卡

2.11.6 NVLink Bridge模块

2.11.7 网卡

2.11.8 SATA M.2 SSD卡

2.11.9 风扇模块

2.11.10 CPU

2.11.11 内存

2.11.12 NVMe VROC模块

2.12 服务器B/D/F信息

2.12.1 8GPU-HPC配置方案的B/D/F信息

2.12.2 8GPU-AI配置方案的B/D/F信息

2.12.3 16GPU配置方案的B/D/F信息

2.12.4 服务器B/D/F信息获取方式

3 安装和拆卸R5300 G3

3.1 安装流程

3.2 安装规划

3.2.1 机柜要求

3.2.2 空间和通风要求

3.2.3 温度和湿度要求

3.2.4 高度要求

3.2.5 腐蚀性气体浓度限值要求

3.2.6 洁净度要求

3.2.7 接地要求

3.2.8 存放要求

3.3 工具准备

3.4 安装R5300 G3

3.4.1 安装滑道

3.4.2 安装R5300 G3

3.4.3 （可选）安装理线架

3.5 连接外部线缆

3.5.1 连接鼠标、键盘和VGA接口线缆

3.5.2 连接网线

3.5.3 连接USB接口

3.5.4 连接电源线缆

3.5.5 固定线缆

3.5.6 布线指导

3.6 拆卸R5300 G3

4 上电和下电

4.1 上电

4.1.1 操作场景

4.1.2 前提条件

4.1.3 操作步骤

4.2 下电

4.2.1 操作场景

4.2.2 前提条件

4.2.3 操作步骤

5 配置R5300 G3

5.1 配置流程

5.2 上电启动

5.3 设置BIOS

5.3.1 设置服务器启动顺序

5.3.2 设置BIOS密码

5.4 配置RAID

5.5 安装操作系统和驱动程序

5.5.1 安装操作系统

5.5.2 安装驱动程序

5.6 更新固件

6 更换部件

6.1 可更换部件及其对应视频

6.2 安装和拆卸所有模块假面板

6.3 拆卸和安装安全面板

6.3.1 更换场景

6.3.2 更换步骤

6.4 更换SAS/SATA硬盘

6.4.1 更换场景

6.4.2 准备工作

6.4.3 更换步骤

6.5 扩容NVMe硬盘

6.5.1 准备工作

6.5.2 安装步骤

6.5.3 确认工作

6.6 更换NVMe硬盘

6.6.1 更换场景

6.6.2 准备工作

6.6.3 更换步骤

6.7 更换电源模块

6.7.1 更换场景

6.7.2 准备工作

6.7.3 更换步骤

6.8 更换GPU卡

6.8.1 更换场景

6.8.2 准备工作

6.8.3 更换步骤

6.9 更换PCIe网卡

6.9.1 更换场景

6.9.2 准备工作

6.9.3 更换步骤

6.10 更换OCP网卡

6.10.1 更换场景

6.10.2 准备工作

6.10.3 更换步骤

6.11 更换OCP转接模块

6.11.1 更换场景

6.11.2 准备工作

6.11.3 更换步骤

6.12 更换存储控制卡及其掉电保护模块

6.12.1 操作场景

6.12.2 准备工作

6.12.3 更换Mezz存储控制卡及其掉电保护模块

6.12.4 更换标准存储控制卡及其掉电保护模块

6.13 更换SATA M.2 SSD卡

6.13.1 更换场景

6.13.2 准备工作

6.13.3 更换步骤

6.14 更换NVMe VROC模块

6.14.1 更换场景

6.14.2 准备工作

6.14.3 更换步骤

6.15 更换风扇模块

6.15.1 更换场景

6.15.2 准备工作

6.15.3 更换步骤

6.16 更换CPU

6.16.1 更换场景

6.16.2 准备工作

6.16.3 更换步骤

6.16.4 确认工作

6.17 更换内存

6.17.1 更换场景

6.17.2 准备工作

6.17.3 更换步骤

6.17.4 确认工作

6.18 更换硬盘背板

6.18.1 更换场景

6.18.2 更换步骤

6.19 安装24LFF硬盘扩展模块

6.19.1 应用场景

6.19.2 安装步骤

6.20 更换电源转接板

6.20.1 更换场景

6.20.2 准备工作

6.20.3 更换步骤

6.21 更换CPU主板

6.21.1 更换场景

6.21.2 准备工作

6.21.3 更换步骤

6.22 更换GPU节点板

6.22.1 更换场景

6.22.2 准备工作

6.22.3 更换步骤

6.23 更换系统电池

6.23.1 更换场景

6.23.2 准备工作

6.23.3 更换步骤

6.24 更换智能挂耳

6.24.1 更换场景

6.24.2 准备工作

6.24.3 更换步骤

6.25 安装加密模块

6.25.1 操作场景

6.25.2 准备工作

6.25.3 安装TPM/TCM模块

7 布线

7.1 内部布线指导

7.1.1 使用场景

7.1.2 注意事项

7.2 连接硬盘线缆

7.2.1 12LFF硬盘配置

7.2.2 24LFF硬盘配置

7.3 连接GPU计算模块线缆

7.3.1 连接8GPU-AI线缆

7.3.2 连接8GPU-HPC线缆

7.3.3 连接16GPU线缆

7.4 连接GPU卡电源线缆

7.5 连接超级电容线缆

7.5.1 连接Mezz存储控制卡的超级电容线缆

7.5.2 连接标准存储控制卡的超级电容线缆

7.6 连接智能挂耳线缆

8 日常维护指导

8.1 维护基本原则

8.2 维护工具

8.3 维护操作

8.3.1 任务列表

8.3.2 查看服务器监控指示灯

8.3.3 监测机房温度和湿度

8.3.4 查看服务器状态

8.3.5 收集服务器日志

8.3.6 升级服务器固件

9 常见问题解答

9.1 如何判断服务器是哪种GPU配置方案？

 

 

1 安全

1.1  安全信息

操作服务器之前，请仔细了解以下安全信息。

1.1.1  运行安全

·     H3C授权人员或专业的服务器工程师才能运行该服务器。

·     请将服务器放在干净、平稳的工作台或地面上进行维护。

·     运行服务器前，请确保所有线缆均连接正确。

·     为确保服务器充分散热，请遵循如下操作准则：

¡     请勿阻塞服务器的通风孔。

¡     服务器的空闲槽位必须安装假面板，比如硬盘、风扇、PCIe卡、电源模块的槽位。

¡     机箱盖、导风罩、空闲槽位假面板不在位的情况下，请不要运行服务器。

¡     维护热插拔部件时，请最大限度地减少机箱盖打开的时间。

·     为避免组件表面过热造成人身伤害，请确保设备和内部系统组件冷却后再操作。

·     当服务器与其他设备上下叠加安装在机柜中时，请确保两个设备之间留出垂直方向2mm以上的空隙。

1.1.2  电气安全

 

·     为避免人身伤害或服务器损坏，请使用随机附带的电源线缆。

·     电源线缆只能用于配套的服务器，请勿在其他设备上使用。

·     为避免触电风险，在安装或拆卸任何非热插拔部件时，请先将设备下电。

1.1.3  电池安全

服务器管理模块上配置有系统电池，一般情况下，电池寿命为3～5年。

当服务器不再自动显示正确的日期和时间时，需更换电池。更换电池时，请注意以下安全措施：

·     请勿尝试给电池充电。

·     请勿将电池置于60°C以上的环境中。

·     请勿拆卸/碾压/刺穿电池、使电池外部触点短路或将其投入火中/水中。

·     请将电池弃于专门的电池处理点，勿随垃圾一起丢弃。

1.2  安全注意事项

 

为避免人身伤害或设备损坏，操作服务器时，还需注意以下事项：

·     服务器必须安装在标准19英寸机柜中。

·     机柜的支撑脚要完全触地，且机柜的全部重量应由支撑脚承担。

·     当有多个机柜时，请将机柜连接在一起。

·     请做好机柜安装的部署工作，将最重的设备安装在机柜底部。安装顺序为从机柜底部到顶部，即优先安装最重的设备。

·     将服务器安装到机柜或从机柜中拉出时（尤其当服务器脱离滑道时），要求四个人协同工作，以平稳抬起服务器。当安装位置高于胸部时，则可能需要第五个人帮助调整服务器的方位。

·     每次只能从机柜中拉出一台设备，否则会导致机柜不稳固。

·     将服务器从机柜中拉出或推入前，请确保机柜稳固。

·     为确保充分散热，请在未使用的机柜位置安装假面板。

1.3  静电防护

1.3.1  防止静电释放

人体或其它导体释放的静电可能会损坏对静电敏感的部件，由静电造成的损坏会缩短部件的使用寿命。

为避免静电损害，请注意以下事项：

·     在运输和存储设备时，请将部件装入防静电包装中。

·     将静电敏感部件送达不受静电影响的工作区前，请将它们放在防静电包装中保管。

·     先将部件放置在防静电工作台上，然后再将其从防静电包装中取出。

·     在没有防静电措施的情况下，请勿触摸组件上的插针、线缆和电路元器件等静电敏感元件。

1.3.2  防止静电释放的接地方法

在取放或安装部件时，用户可采取以下一种或多种接地方法以防止静电释放。

·     佩戴防静电腕带，并将腕带的另一端良好接地。请将腕带紧贴皮肤，且确保其能够灵活伸缩。

·     在工作区内，请穿上防静电服和防静电鞋，并佩戴防静电手套。

·     请使用导电的现场维修工具。

·     请使用防静电的可折叠工具垫和便携式现场维修工具包。

1.4  设备标识

为避免维护服务器过程中可能造成的任何伤害，请熟悉服务器上可能出现的安全标识。

表1-1 安全标识

图示	说明	警告
	该标识表示存在危险电路或触电危险。所有维修工作应由H3C授权人员或专业的服务器工程师完成。	为避免电击造成人身伤害，请勿打开符号标识部件。所有维护、升级和维修工作都应由H3C授权人员或专业的服务器工程师完成。
	该标识表示存在触电危险。不允许用户现场维修此部件。用户任何情况下都不能打开此部位。	为避免电击造成人身伤害，请勿打开符号标识部件。
	该标识表示存在高温表面或组件。如果触摸该表面或组件，可能会造成人身伤害。	为避免组件表面过热造成人身伤害，请确保服务器和内部系统组件冷却后再操作。
	该标识表示组件过重，已超出单人安全取放的正常重量。	为避免人身伤害或设备损坏，请遵守当地关于职业健康与安全的要求，以及手动处理材料的指导。
	电源或系统上的这些标识表示服务器由多个电源模块供电。	为避免电击造成人身伤害，请先断开所有电源线缆，并确保服务器已完全断电。

 

2 认识R5300 G3

 

2.1  简介

H3C UniServer R5300 G3服务器（简称R5300 G3或服务器）是一款公司自主研发、基于Intel Purley CPU、澜起Jintide C系列平台的4U 2路异构服务器，具有计算性能强大、内置高性能大容量存储、易维护易部署等特点。该服务器支持企业和公有云部署。

服务器的外观如图2-1所示。

图2-1 服务器外观

 

2.2  规格参数

介绍服务器的产品规格和技术参数。

2.2.1  产品规格

 

表2-1 产品规格

功能特性	说明
GPU	·     16GPU计算模块： ¡     最多支持20张NVIDIA Telsa T4 GPU卡 ·     8GPU计算模块： ¡     最多支持8张NVIDIA Telsa T4 GPU卡 ¡     最多支持8张NVIDIA Telsa P40 GPU卡 ¡     最多支持8张NVIDIA Telsa V100 GPU卡 ¡     最多支持8张NVIDIA Telsa V100S GPU卡 ¡     最多支持8张NVIDIA A100 GPU卡 ¡     最多支持8张NVIDIA RTX6000 GPU卡 ¡     最多支持8张NVIDIA A10 GPU卡 ¡     最多支持8张NVIDIA A30 GPU卡 ¡     最多支持8张NVIDIA A40 GPU卡 ¡     最多支持8张HUAWEI Atlas 910 B GPU卡
处理器	最多支持2路Intel Purley CPU、澜起Jintide C系列CPU ·     单颗CPU最大支持功耗205W ·     最高主频支持3.6GHz ·     单颗CPU三级缓存最高支持38.5MB ·     单颗CPU最高支持28个计算核心
内存	最多可支持24根DDR4内存，支持DDR4和DCPMM内存，单根内存最大支持的频率为2933MHz
存储控制卡	l     支持板载RSTe阵列控制器 l     高性能存储控制卡 l     NVMe VROC模块
芯片组	Intel C621 Lewisburg芯片组
网络接口	l     板载1个1Gbit/s HDM专用网络接口 l     1个OCP网卡插槽，可以选配OCP3.0网卡
集成显卡	显卡芯片集成在BMC管理芯片中，芯片型号为AST2500，提供16MB显存，支持的最大分辨率是1920 x 1200@60Hz (32bpp)。 其中： ·     关于分辨率： ¡     1920 x 1200：表示横向有1920个像素列；纵向有1200个像素列 ¡     60Hz：表示刷新率，每秒60次屏幕刷新 ¡     32bpp：表示色彩位数。色彩位数越高，表现的色彩越丰富 ·     前后VGA接口同时连接显示器时，仅连接前面板VGA接口的显示器会显示
I/O端口	·     最多支持5个USB 3.0接口（前面板1个，后面板2个，主板2个）和2个USB 2.0接口（前面板） ·     内置1个x4 Mini-SAS-HD接口、3个x8 SlimSAS接口、4个x16 LP SlimSAS接口 ·     1个RJ45 HDM专用网络接口（后面板） ·     最多支持2个VGA接口（前面板1个，后面板1个） ·     支持1个BIOS串口（后面板）
扩展插槽	·     主板：支持1个Mezz存储控制卡专用插槽和1个OCP3.0网卡专用插槽 ·     8GPU节点板：最多支持12个PCIe可用插槽，其中最多可以支持10个PCIe4.0插槽和2个PCIe3.0插槽 ·     16GPU节点板：最多支持20个PCIe3.0可用插槽
电源	4个热插拔电源模块，支持N+N冗余
认证	通过CQC、SEPA、CE EMC、CE RoHS、FCC EMC、ICES、VCCI等认证

 

2.2.2  技术参数

表2-2 技术参数

类别	项目	说明
物理参数	尺寸（高x宽x深）	不含安全面板与挂耳：174.8mm X 447.0mm X 807mm 含安全面板：174.8mm X 447.0mm X 829mm
	最大重量	63kg
环境参数	温度	工作环境温度：5°C～40°C 某些配置下，服务器支持的最高工作环境温度会降低，具体请参见附录中的“工作环境温度规格”章节。
		贮存环境温度：-40°C～70°C
	湿度	·     工作环境湿度：8%～90%（无冷凝） ·     贮存环境湿度：5%～95%（无冷凝）
	海拔高度	·     工作环境高度：-60m～3000m（海拔高于900m时，每升高100m，规格最高温度降低0.33°C） ·     贮存环境高度：-60m～5000m

 

2.3  GPU配置方案

服务器包括3种GPU配置方案，以满足不同应用场景的需求，GPU模块的详细信息请参见2.7  GPU计算模块：

·     8GPU-AI

适合深度学习应用，特别适用于能够轻易、有效地在GPU卡上直接产生代码的应用。该GPU配置方案最多支持8张全高全长双宽GPU卡，8张GPU卡从属于1个CPU。该GPU配置方案线缆连接方式请参见7.3.1  连接8GPU-AI线缆。

·     8GPU-HPC

适合大多数的HPC应用，适用于CPU和GPU卡频繁通信的场景。该GPU配置方案最多支持8张全高全长双宽GPU卡，8张GPU卡从属于2个CPU。该GPU配置方案线缆连接方式请参见7.3.2  连接8GPU-HPC线缆。

·     16GPU

适合推理场景。该GPU配置方案支持16张半高半长单宽GPU卡和4个PCIe3.0插槽，最多支持20张半高半长单宽GPU卡，20张GPU卡从属于2个CPU。该GPU配置方案线缆连接方式请参见7.3.3  连接16GPU线缆。

2.4  部件

介绍服务器各部件含义。

图2-2 服务器部件

 

表2-3 服务器部件说明

序号	名称	说明
1	GPU扩展笼	用于安装GPU节点板，安装了GPU节点板的扩展笼统称GPU计算模块。
2	16GPU节点板	最多支持安装20张半高半长单宽GPU卡，其中4个槽位可选标准半长单宽PCIe卡。GPU节点板经过GPU电源转接板进行供电，当GPU计算模块被抽出时，GPU节点板将断电。
3	8GPU节点板	最多支持安装8张全高全长双宽GPU卡和4张标准半长单宽PCIe卡。GPU节点板经过GPU电源转接板进行供电，当GPU计算模块被抽出时，GPU节点板将断电。
4	主板	服务器最重要的部件之一，用于安装CPU、内存和风扇等，集成了服务器的基础元器件，包括BIOS芯片、PCIe插槽等。
5	风扇笼	用于安装风扇模块。
6	安全面板	-
7	导风罩	为CPU散热器和内存提供散热风道，同时为超级电容提供安装位置。
8	24LFF硬盘背板	为24LFF硬盘供电并提供数据传输通道。
9	GPU稳定架	帮助固定在位的GPU，提升GPU的稳定性。
10	12LFF硬盘背板	为12LFF硬盘供电并提供数据传输通道。
11	机箱	机箱将所有部件集中到一起。
12	机箱盖	-
13	CPU夹持片	用于将CPU固定到散热器。
14	CPU	集成内存控制器和PCIe控制器，为服务器提供强大的数据处理功能。
15	CPU散热器	用于为CPU散热。
16	风扇模块	为服务器散热提供动力，支持热插拔，支持7+1冗余。
17	硬盘	为服务器提供数据存储介质，支持热插拔。
18	OCP转接模块	用于安装OCP网卡。
19	OCP网卡	一种网卡，安装在机箱后部，可以在不打开机箱盖的情况下进行安装和更换。
20	左挂耳（含开箱检测模块）	用于将服务器固定到机柜，其中左侧挂耳集成了开箱检测模块，同时带VGA和USB 2.0接口。 开箱检测模块用于检测机箱盖是否被打开，检测结果通过HDM界面显示。
21	右挂耳	用于将服务器固定到机柜，其中右侧挂耳中集成了前面板I/O组件。
22	超级电容	用于在系统意外掉电时为存储控制卡上的Flash卡供电，实现存储控制卡上数据的掉电保护。
23	坦克链	用于包裹GPU数据线缆和AUX信号线缆，确保在抽拉GPU计算模块时，机箱内的线缆保持整齐有序。
24	电源模块	为服务器运行提供电力转换功能。电源模块支持热插拔，支持N+N冗余。
25	GPU	为服务器提供图像处理和人工智能等计算服务。
26	Mezz存储控制卡	一种存储控制卡，仅支持安装到主板上的Mezz存储控制卡插槽。
27	GPU电源转接板	安装在主板的通流铜柱上，为GPU计算模块供电。
28	加密模块	用于为服务器提供加密服务，提高服务器数据安全性。
29	NVMe VROC模块	NVMe VROC模块用于激活NVMe硬盘阵列特性，配合VMD技术实现NVMe硬盘阵列功能。
30	系统电池	为系统时钟供电，确保系统日期和时间正确。
31	SATA M.2 SSD卡	为服务器提供数据存储介质。
32	内存	用于暂时存放CPU中的运算数据，以及与硬盘等外部存储设备交换的数据。

 

2.5  前面板

介绍计算模块前面板上的组件和服务器前面板上的组件、指示灯含义和接口用途。

2.5.1  服务器前面板组件

图2-3 前面板-24LFF硬盘

 

表2-4 前面板-24LFF硬盘组件说明

编号	说明
1	VGA接口
2	USB 2.0接口（2个）
3	抽拉式资产标签
4	24LFF SAS/SATA硬盘
5	可选NVMe硬盘
6	USB 3.0接口

 

图2-4 前面板-12LFF硬盘

 

表2-5 前面板-12LFF硬盘组件说明

编号	说明
1	VGA接口
2	USB 2.0接口（2个）
3	抽拉式资产标签
4	8LFF SAS/SATA硬盘
5	4LFF NVMe硬盘
6	USB 3.0接口

 

2.5.2  指示灯和按钮

图2-5 前面板指示灯和按钮

 

表2-6 前面板指示灯说明

编号	说明	状态
1	开机/待机按钮和系统电源指示灯	·     绿灯常亮：系统已启动 ·     绿灯闪烁（1Hz）：系统正在开机 ·     橙灯常亮：系统处于待机状态 ·     灯灭：未通电
2	UID按钮/指示灯	·     蓝灯常亮：UID指示灯被激活。UID指示灯可通过以下任意方法被激活： ¡     UID按钮被按下 ¡     通过HDM开启UID指示灯 ·     蓝灯闪烁： ¡     1Hz：系统正在被HDM远程管理或正在通过HDM带外方式升级固件，请勿下电 ¡     4Hz：HDM正在重启（长按UID按钮/指示灯10秒可重启HDM） ·     灯灭：UID指示灯未激活
3	Health指示灯	·     绿灯常亮：系统状态正常或有轻微告警 ·     橙灯闪烁（1Hz）：系统出现严重错误告警 ·     红灯闪烁（1Hz）：系统出现紧急错误告警
4	OCP网卡以太网接口指示灯	·     绿灯常亮：网口链路已经连通 ·     绿灯闪烁（1Hz）：网口正在接收或发送数据 ·     灯灭：网口链路没有连通
·     如果Health指示灯显示系统出现问题，请通过HDM查看系统运行状态。 ·     系统电源指示灯灭的原因可能有：没有接通电源、未安装电源模块、电源模块故障或系统电源指示灯线缆未连接。

 

2.5.3  接口

表2-7 前面板接口

接口名称	类型	用途
USB接口	USB 3.0/2.0	用于连接USB设备，以下情况下需要使用该接口： ·     连接U盘 ·     连接USB键盘或鼠标 ·     安装操作系统时，连接USB光驱
VGA接口	DB15	用于连接显示终端，如显示器或KVM设备

 

2.6  后面板

介绍服务器后面板上的组件、指示灯含义和接口用途。

2.6.1  后面板组件

图2-6 后面板组件-8GPU计算模块

 

图2-7 后面板组件-16GPU计算模块

 

表2-8 后面板组件说明

编号	说明
1	GPU计算模块
2	抽拉式资产标签
3	电源模块1
4	电源模块2
5	BIOS串口
6	USB 3.0接口（2个）
7	HDM专用网络接口（1Gb/s，RJ45，缺省IP地址：192.168.1.2/24）
8	可选OCP3.0网卡（暂不支持热插槽）
9	VGA接口
10	电源模块3
11	电源模块4

 

2.6.2  后面板指示灯

图2-8 后面板指示灯

 

表2-9 后面板指示灯说明

编号	说明	状态
1、2、6、7	电源模块状态指示灯	·     绿灯常亮：电源模块工作正常 ·     绿灯闪烁（1Hz）：电源模块输入正常，系统处于待机状态未上电 ·     绿灯闪烁（0.33Hz）：电源模块处于备用电源模式，无功率输出 ·     绿灯闪烁（2Hz）：电源模块处于固件更新状态 ·     橙灯常亮： ¡     电源模块出现严重故障 ¡     该电源模块无输入，其他电源模块最少有1块输入正常 ·     橙灯闪烁（1Hz）：电源模块出现告警 ·     灯灭：电源模块无输入，存在以下一种或两种情况： ¡     电源线缆连接故障 ¡     外部供电系统断电
3	UID指示灯	·     蓝灯常亮：UID指示灯被激活。UID指示灯可通过以下任意方法被激活： ¡     UID按钮被按下 ¡     通过HDM开启UID指示灯 ·     蓝灯闪烁： ¡     1Hz：系统正在被HDM远程管理或固件升级 ¡     4Hz：HDM正在重启（长按UID按钮/指示灯10秒可重启HDM） ·     灯灭：UID指示灯未激活
4	以太网接口连接状态指示灯	·     绿色常亮：网口链路已经连通 ·     灯灭：网口链路没有连通
5	以太网接口数据传输状态指示灯	·     绿色闪烁（1Hz）：网口正在接收或发送数据 ·     灯灭：网口没有接收或发送数据

 

2.6.3  接口

表2-10 后面板接口

接口名称	类型	用途
HDM专用网络接口	RJ45	用于登录HDM管理界面，进行服务器管理
USB接口	USB 3.0	用于连接USB设备，以下情况下需要使用该接口： ·     连接U盘 ·     连接USB键盘或鼠标 ·     安装操作系统时，连接USB光驱
VGA接口	DB15	用于连接显示终端，如显示器或KVM设备
BIOS串口	RJ45	·     服务器网络故障，远程连接服务器失败时，可通过连接服务器的BIOS串口，登录服务器进行故障定位 ·     用于加密狗、短信猫等应用
电源接口	标准单相电源接头	用于连接电源模块和外部供电系统，为设备供电

 

2.7  GPU计算模块

介绍如下内容：

·     服务器支持的GPU计算模块类型。

·     每种GPU计算模块节点板布局（简称GPU节点板）。

2.7.1  GPU计算模块类型

服务器支持2种类型的GPU计算模块：8GPU计算模块和16GPU计算模块。

·     8GPU计算模块：最多支持安装8张全高全长双宽GPU卡和4张标准半长单宽PCIe卡。

·     16GPU计算模块：最多支持安装20张半高半长单宽GPU卡，其中4个槽位可选标准半长单宽PCIe卡。

2.7.2  GPU节点板布局

介绍2种GPU节点板布局。

1. 16GPU节点板布局

图2-9 16GPU节点板布局

 

表2-11 16GPU节点板布局说明

编号	说明
1	PCIe3.0 x16（16,8,4,2,1） slot 4
2	PCIe3.0 x16（16,8,4,2,1） slot 3
3	从右到左依次为PCIe3.0 x16（16,8,4,2,1） slot 7～22（用户位于服务器前方）
4	PCIe3.0 x16（16,8,4,2,1） slot 2
5	PCIe3.0 x16（16,8,4,2,1） slot 1
6	x16 LP SlimSAS接口N1（PCIe3.0 x16）
7	x16 LP SlimSAS接口N3（PCIe3.0 x16）
8	x16 LP SlimSAS接口N5（PCIe3.0 x16）
9	x16 LP SlimSAS接口N6（PCIe3.0 x16）
10	GPU节点AUX接口
·     PCIe4.0 x16（16,8,4,2,1）含义如下： ¡     PCIe4.0：第四代信号速率。 ¡     x16：连接器宽度。 ¡     （16,8,4,2,1）：兼容的总线带宽，包括x16，x8，x4，x2和x1。 ·     PCIe3.0 x16含义如下： ¡     PCIe3.0：第三代信号速率。 ¡     x16：总线带宽。

 

表2-12 16GPU节点板的槽位CPU从属关系

槽位号	从属CPU
slot 1	CPU1
slot 2	CPU1
slot 3	CPU2
slot 4	CPU2
slot 7	CPU1
slot 8	CPU1
slot 9	CPU1
slot 10	CPU1
slot 11	CPU1
slot 12	CPU1
slot 13	CPU1
slot 14	CPU1
slot 15	CPU2
slot 16	CPU2
slot 17	CPU2
slot 18	CPU2
slot 19	CPU2
slot 20	CPU2
slot 21	CPU2
slot 22	CPU2

 

2. 8GPU节点板布局

图2-10 8GPU节点板布局

 

表2-13 8GPU节点板布局说明

编号	说明
1	PCIe4.0 x16（16,8,4,2,1） slot 4
2	PCIe3.0 x16（16,8,4,2,1） slot 3
3	从右到左依次为PCIe4.0 x16（16,8,4,2,1） slot 7～14（用户位于服务器前方）
4	PCIe4.0 x16（16,8,4,2,1） slot 2*
5	PCIe3.0 x16（16,8,4,2,1） slot 1
6	GPU电源接口（8个）
7	x16 LP SlimSAS接口N1（PCIe4.0 x16）
8	x16 LP SlimSAS接口N3（PCIe4.0 x16）
9	x16 LP SlimSAS接口N2（PCIe4.0 x16）
10	x16 LP SlimSAS接口N4（PCIe4.0 x16）
11	x16 LP SlimSAS接口N5（PCIe4.0 x16）
12	x16 LP SlimSAS接口N6（PCIe4.0 x16）
13	GPU节点AUX接口
*：当GPU采用HPC配置方案时，插槽支持PCIe 4.0；当GPU采用AI配置方案时，插槽仅支持PCIe 3.0。 ·     PCIe4.0 x16（16,8,4,2,1）含义如下： ¡     PCIe4.0：第四代信号速率。 ¡     x16：连接器宽度。 ¡     （16,8,4,2,1）：兼容的总线带宽，包括x16，x8，x4，x2和x1。 ·     PCIe4.0 x16含义如下： ¡     PCIe4.0：第四代信号速率。 ¡     x16：总线带宽。

 

表2-14 8GPU节点板的槽位CPU从属关系

槽位号	8GPU-AI方案从属CPU	8GPU-HPC方案从属CPU
slot 1	CPU1	CPU1
slot 2	CPU2	CPU1
slot 3	CPU2	CPU2
slot 4	CPU1	CPU2
slot 7	CPU1	CPU1
slot 8	CPU1	CPU1
slot 9	CPU1	CPU1
slot 10	CPU1	CPU1
slot 11	CPU1	CPU2
slot 12	CPU1	CPU2
slot 13	CPU1	CPU2
slot 14	CPU1	CPU2

 

2.8  主板

介绍服务器主板布局和主板上的组件含义。

2.8.1  主板布局

图2-11 主板布局

 

表2-15 主板布局说明

序号	含义
1	OCP转接模块插槽
2	内置USB 3.0接口（2个）
3	SATA M.2 SSD卡接口（2个）
4	SlimSAS接口（x8 SATA接口）
5	Mini-SAS-HD接口（x4 SATA接口）
6	通流铜柱1
7	NVMe AUX接口
8	x16 LP SlimSAS接口M1或A1/A2/A3/A4 NVMe接口*（PCIe4.0 x16，从属CPU 1）
9	x16 LP SlimSAS接口M3（PCIe4.0 x16，从属CPU 1）
10	前面板I/O接口
11	前部硬盘背板电源接口3
12	前部硬盘背板电源接口2
13	x8 SlimSAS接口B1/B2（PCIe4.0 x8，从属CPU 2）
14	x8 SlimSAS接口B3/B4（PCIe4.0 x8，从属CPU 2）
15	前部硬盘背板电源接口1
16	前部硬盘背板AUX接口
17	开箱检测模块、前部VGA和2个USB 2.0接口
18	x16 LP SlimSAS接口M5（PCIe4.0 x16，从属CPU 2）
19	x16 LP SlimSAS接口M6（PCIe4.0 x16，从属CPU 2）
20	GPU计算模块AUX接口
21	通流铜柱2
22	系统电池
23	NVMe VROC模块接口
24	Mezz存储控制卡插槽
25	TPM/TCM插槽
X1	系统维护开关1
X2	系统维护开关2
X3	系统维护开关3
*：表示复用接口，即该接口支持连接线缆到硬盘背板（仅配置8GPU节点板时支持连接线缆到24LFF硬盘背板），或连接线缆到GPU节点板。 ·     当该接口支持连接线缆到硬盘背板（仅配置8GPU节点板时支持连接线缆到24LFF硬盘背板）时，服务器支持8个NVMe硬盘，支持NVMe硬盘的槽位如图2-3所示；但不支持PCIe slot 1，PCIe slot编号如图2-6所示。 ·     当该接口连接线缆到GPU节点板时，服务器不支持8个NVMe硬盘，但是支持PCIe slot 1，PCIe slot编号请参见2.6.1  后面板组件。 ·     PCIe4.0 x16含义如下： ¡     PCIe4.0：第四代信号速率。 ¡     X16：总线带宽。

 

2.8.2  系统维护开关

系统维护开关的具体位置请参见2.8.1  主板布局。系统维护开关说明如表2-1所示。通过系统维护开关，可解决以下问题：

·     忘记HDM登录用户名或密码，无法登录HDM。

·     忘记BIOS密码，无法进入BIOS。

·     需要恢复BIOS缺省设置。

表2-16 系统维护开关含义

名称	系统维护开关	注意事项
系统维护开关1	·     跳针1、2短接（缺省） = 登录HDM时，输入用户名和密码 ·     跳针2、3短接 = 登录HDM时，输入缺省用户名和缺省密码	跳针2、3短接后，可永久通过缺省用户名和缺省密码登录HDM。建议完成操作后，重新将跳针1、2短接。
系统维护开关2	·     跳针1、2短接（缺省） = 正常启动服务器 ·     跳针2、3短接 = 恢复BIOS缺省设置	跳针2、3短接30秒以上，BIOS即可恢复为缺省设置。此时请重新将跳针1、2短接，正常启动服务器。
系统维护开关3	·     跳针1、2短接（缺省） = 正常启动服务器 ·     跳针2、3短接 = 启动服务器时清除BIOS的所有密码	跳针2、3短接后，服务器开机过程中BIOS密码被清除。此时请根据BIOS界面提示，关机并重新将跳针1、2短接后，再开机，即可无BIOS密码启动服务器。

 

2.8.3  内存插槽

内存插槽布局如图2-12所示，A1、A2…A12，B1、B2…B12表示内存插槽号。内存的具体安装准则请参见2.11.11  内存。

图2-12 内存插槽编号

 

2.9  硬盘

介绍如下内容：

·     服务器支持的典型硬盘配置。

·     每种硬盘配置所需的存储控制卡配置和线缆连接方法。

·     所有硬盘配置对应的硬盘编号。

·     硬盘指示灯的含义。

2.9.1  硬盘配置

服务器支持多种不同的硬盘配置，可供用户灵活选择，具体硬盘配置如表2-17。

表2-17 服务器硬盘配置说明

硬盘配置	硬盘具体配置	存储控制卡配置和主板SlimSAS接口连线方式	线缆连接方法
12LFF	8LFF SATA硬盘+ 4LFF NVMe硬盘	RSTe板载软RAID，同时，硬盘背板上的SlimSAS接口需要连接到主板上的SlimSAS接口	7.2.1  12LFF硬盘配置
	8LFF SAS/SATA硬盘 + 4LFF NVMe硬盘	Mezz存储控制卡或标准存储控制卡，同时，硬盘背板上的SlimSAS接口需要连接到主板上的SlimSAS接口
24LFF	16LFF SAS/SATA硬盘 + 8LFF UniBay硬盘	Mezz存储控制卡或标准存储控制卡，同时，硬盘背板上的SlimSAS接口需要连接到主板上的SlimSAS接口和LP SlimSAS M1接口	7.2.2  24LFF硬盘配置
	20LFF SAS/SATA硬盘 + 4LFF UniBay硬盘	Mezz存储控制卡或标准存储控制卡，同时，硬盘背板上的SlimSAS接口需要连接到主板上的SlimSAS接口
·     硬盘配置不同，SAS/SATA硬盘和NVMe硬盘的安装位置也不同，详细信息请参见2.5.1  服务器前面板组件。 ·     UniBay硬盘：SAS/SATA HDD/SSD硬盘或NVMe硬盘。 ·     硬盘槽位的具体信息请参见2.9.2  硬盘编号。

 

2.9.2  硬盘编号

硬盘编号用于指示硬盘位置，与服务器前后面板上的丝印完全一致。

图2-13 12LFF硬盘编号

 

图2-14 24LFF硬盘编号

 

2.9.3  硬盘指示灯

服务器支持SAS/SATA硬盘和NVMe硬盘，SAS/SATA硬盘支持热插拔。硬盘指示灯指示硬盘状态，硬盘指示灯位置如图2-15所示。

图2-15 硬盘指示灯

(1):硬盘Fault/UID指示灯	(2):硬盘Present/Active指示灯

 

SAS/SATA硬盘指示灯含义请参见表2-18，NVMe硬盘指示灯含义请参见表2-19。

表2-18 SAS/SATA硬盘指示灯说明

硬盘Fault/UID指示灯（橙色/蓝色）	硬盘Present/Active指示灯（绿色）	说明
橙色闪烁（0.5Hz）	常亮/闪烁（4Hz）	硬盘预告性故障报警，请及时更换硬盘
橙色常亮	常亮/闪烁（4Hz）	硬盘出现故障，请立即更换硬盘
蓝色常亮	常亮/闪烁（4Hz）	硬盘状态正常，且被阵列管理工具选中
灯灭	闪烁（4Hz）	硬盘在位，有数据读写操作或正在进行阵列迁移/重建
灯灭	常亮	硬盘在位，但没有数据读写操作
灯灭	灯灭	硬盘未安装到位

 

表2-19 NVMe硬盘指示灯说明

硬盘Fault/UID指示灯（橙色/蓝色）	硬盘Present/Active指示灯（绿色）	说明
橙色闪烁(0.5Hz)	灯灭	硬盘已完成预知性热拔出流程，允许拔出硬盘
橙色闪烁(4Hz)	灯灭	硬盘处于热插入过程
橙色灯常亮	常亮/闪烁(4Hz)	硬盘出现故障，请立即更换硬盘
蓝色灯常亮	常亮/闪烁(4Hz)	硬盘状态正常，且被阵列管理工具选中
灯灭	闪烁(4Hz)	硬盘在位，有数据读写操作或正在进行阵列迁移/重建
灯灭	常亮	硬盘在位，但无数据读写操作
灯灭	灯灭	硬盘未安装到位

 

2.10  风扇模块

服务器最多支持4组热插拔风扇模块，每组风扇模块由2个风扇组成，风扇模块布局如图2-16所示。服务器支持N+1风扇冗余，即支持单个风扇失效。

服务器支持可变的风扇速度，即风扇会根据系统实际温度调整转速。转速策略上兼顾了系统散热和系统噪音，使系统的散热和噪音达到最优。

 

图2-16 风扇布局

 

2.11  部件安装准则

本章节介绍各个模块的安装准则。

2.11.1  SAS/SATA硬盘

 

·     SAS/SATA硬盘在如下情况支持热插拔：

¡     通过存储控制卡控制的SAS/SATA硬盘，在进入BIOS或操作系统后，支持热插拔操作。

¡     通过板载VROC阵列控制器控制的SATA硬盘，只有在进入操作系统后，才支持热插拔操作。

·     建议用户安装没有RAID信息的硬盘。

·     请确保组建同一RAID的所有硬盘类型相同，否则会因硬盘性能不同而造成RAID性能下降或者无法创建RAID。即同时满足如下两点。

¡     所有硬盘均为SAS或SATA硬盘。

¡     所有硬盘均为HDD或SSD硬盘。

·     建议组建同一RAID的所有硬盘容量相同。当硬盘容量不同时，系统以最小容量的硬盘为准，即将所有硬盘容量都视为最小容量。

2.11.2  NVMe硬盘

·     硬盘的详细配置请参见2.9.1  硬盘配置。

·     NVMe硬盘支持热插。

·     部分操作系统下NVMe硬盘支持热拔和预知性热拔。两者的兼容关系，可通过OS兼容性查询工具查询。

·     建议用户安装没有RAID信息的硬盘。

·     建议组建同一RAID的所有硬盘容量相同。当硬盘容量不同时，系统以最小容量的硬盘为准，即将所有硬盘容量都视为最小容量。对于容量较大的硬盘，其多余容量无法用于配置当前RAID，也无法用于配置其他RAID。

·     NVMe硬盘支持热插。插入硬盘时要匀速插入，过程中不能出现停顿，否则容易导致操作系统卡死或重启。

·     NVMe硬盘是否支持热拔和预知性热拔，与操作系统有关。

·     不支持多个NVMe硬盘同时热插拔，建议间隔30秒以上，待操作系统识别到第一个硬盘信息后，再开始操作下一个硬盘。同时插入多个NVMe硬盘，容易导致操作系统无法识别硬盘。

·     当配置16GPU计算模块时，最多支持4个NVMe硬盘。

¡     当服务器前部配置12LFF硬盘时，支持NVMe硬盘的槽位为编号8～11，硬盘编号如图2-13所示。

¡     当服务器前部配置24LFF硬盘时，支持NVMe硬盘的槽位为编号20～23，硬盘编号如图2-14所示。

·     当配置8GPU计算模块，且PCIe slot 1安装部件时，最多支持4个NVMe硬盘。

¡     当服务器前部配置12LFF硬盘时，支持NVMe硬盘的槽位为编号8～11，硬盘编号如图2-13所示。

¡     当服务器前部配置24LFF硬盘时，支持NVMe硬盘的槽位为编号20～23，硬盘编号如图2-14所示。

·     当配置8GPU计算模块，且PCIe slot 1未安装部件时，若需要支持8个NVMe硬盘，应配置24LFF硬盘背板，支持NVMe硬盘的槽位如图2-3所示。

 

2.11.3  电源模块

1. 安装准则

·     请确保服务器上安装的所有电源模块型号相同。HDM会对电源模块型号匹配性进行检查，如果型号不匹配将提示严重告警错误。

·     电源模块支持热插拔。

·     服务器支持N+N电源模块冗余。

·     请勿使用第三方电源模块，否则可能会导致硬件损坏。

·     当配置不同数量的电源模块时，请按表2-20顺序依次安装电源模块到服务器。

表2-20 支持的电源模块配置数量与建议安装的槽位

电源模块配置数量	电源模块1	电源模块2	电源模块3	电源模块4
1	√	×	×	×
2	√	×	×	√
3	√	√	√	×
4	√	√	√	√

 

·     当电源模块温度超过正常工作温度，电源将自动关闭，当温度恢复到正常范围后，电源将会自动开启。电源模块正常工作温度范围请参见表2-21。

2. 规格信息

表2-21 电源模块规格

项目		2000W白金电源模块	2000W交流电源模块(GW-R1-白金)
型号		DPS-2000AB-2 G	GW-CRPS2000
额定输入电压范围@对应的输出功率		·     100V AC～127V AC 50/60Hz @ 1000W ·     200V AC～219V AC 50/60Hz @ 1800W ·     220V AC～240V AC 50/60Hz @ 2000W	·     100V AC～127V AC 50/60Hz @ 1000W ·     200V AC～230V AC 50/60Hz @ 1800W ·     230V AC～240V AC 50/60Hz @ 2000W
		·     192V DC～210V DC @ 1600W ·     210V DC～240V DC @ 1800W ·     240V DC～288V DC @ 2000W	·     192V DC～230V DC @ 1800W ·     230V DC～288V DC @ 2000W
额定输入电流		·     12.0A Max @ 100V AC～127V AC ·     10.0A Max @ 200V AC～240V AC	·     12.0A Max @ 100V AC～127V AC ·     10.0A Max @ 200V AC～240V AC
		10.0A Max @ 240VDC	10.0A Max @ 240VDC
最大额定输出功率		2000W	2000W
效率@50%负载		94%	94%
环境温度要求	工作温度	0°C～50°C	0°C～50°C
	贮藏温度	-40°C～70°C	-40°C～70°C
工作湿度		5%～90%	5%~85%
最高海拔		5000m	5000m
是否冗余		N+N冗余	N+N冗余
热插拔		支持	支持
是否支持冷备份		是	是
型号为DPS-2000AB-2 G和GW-CRPS2000的电源模块，采用快熔型16A保险丝（I2t=384A²sec），为避免电源模块故障导致前级空开跳闸，使用时请注意电源模块与空开的适配关系（空开与电源模块保险丝配合必然存在同时断开的概率，空开规格越大误触发概率越低）。

 

2.11.4  存储控制卡及掉电保护模块

1. 存储控制卡简介

根据存储控制卡在服务器中的安装位置，将其分为三类，详细信息如表2-22所示。

表2-22 存储控制卡说明

类型	存储控制卡型号	安装位置	是否支持掉电保护功能	安装方法
板载软RAID	RSTe板载软RAID	缺省内嵌于服务器主板PCH中，无需用户安装	不支持	不涉及
Mezz存储控制卡	RAID-P460-M4	直接安装到主板的Mezz存储控制卡插槽	支持，内置Flash，需选配BAT-PMC-R5300-G3超级电容	请参见6.12.3  更换Mezz存储控制卡及其掉电保护模块
标准存储控制卡	HBA-LSI-9300-8i-A1-X	安装到GPU节点板上的PCIe插槽	不支持	请参见6.12.4  更换标准存储控制卡及其掉电保护模块
	RAID-LSI-9361-8i(1G)-A1-X		支持，独立Flash，需选配BAT-LSI-R5300-G3掉电保护模块
	RAID-LSI-9361-8i(2G)-1-X		支持，独立Flash，需选配BAT-LSI-R5300-G3掉电保护模块
	RAID-LSI-9460-8i(4G)		支持，内置Flash，需选配BAT-LSI-G3超级电容
·     支持掉电保护的存储控制卡必须与对应的掉电保护模块或超级电容配合使用。 ·     Mezz存储控制卡插槽在主板的具体位置请参见2.8.1  主板布局。

 

RSTe板载软RAID规格信息如表2-23所示。

表2-23 RSTe板载软RAID规格

项目	RSTe板载软RAID
端口数	8个内置SATA接口
连接器类型	主板上提供1个x8 SlimSAS连接器
端口特性	支持6.0Gb/s SATA 3.0接口，支持对应硬盘热插拔
PCIe接口	PCIe3.0 x4位宽
RAID级别	RAID 0/1/5
位置	内嵌在主板的PCH上
缓存	无
掉电保护模块	不支持
超级电容接口	无
固件升级	随BIOS升级

 

Mezz存储控制卡和标准存储控制卡的具体规格信息请参见官网服务器兼容的部件查询工具。

2. 掉电保护模块

掉电保护模块是一个总称，包含Flash卡和超级电容。Flash卡有两种，一种需要安装到存储控制卡上；另一种内嵌在存储控制卡上，无需用户安装。

服务器系统意外掉电时，超级电容可为Flash卡供电20秒以上，在此期间，缓存数据会从存储控制卡的DDR存储器传输到Flash卡中。由于Flash卡是非易失性存储介质，故可实现缓存数据的永久保存或者保存到服务器系统上电，存储控制卡检索到这些数据为止。

 

超级电容寿命到期注意事项：

·     超级电容的寿命通常为3年～5年。

·     超级电容寿命到期时，可能导致超级电容异常，系统通过如下方式告警：

¡     对于PMC超级电容，HDM界面中的Flash卡状态会显示为“异常”+“状态码”，可通过解析状态码了解超级电容异常的原因，具体请参见HDM联机帮助。

¡     对于LSI超级电容，HDM界面中的Flash卡状态会显示为“异常”。

¡     HDM会生成SDS日志记录，SDS日志的查看方法请参见HDM联机帮助。

·     超级电容寿命到期时，需要及时更换，否则会导致存储控制卡的数据掉电保护功能失效。

 

3. 安装准则

·     服务器配置标准存储控制卡时，建议安装到PCIe slot 3，slot编号详见2.6.1  后面板组件。

·     支持掉电保护功能的存储控制卡必须与对应的掉电保护模块或超级电容配合使用。

 

2.11.5  GPU卡

1. 简介

服务器支持的GPU卡如表2-24所示。

表2-24 GPU卡说明

GPU卡型号	适配的GPU计算模块类型	电源线缆
GPU-T4	16GPU计算模块	无
GPU-T4	8GPU计算模块	无
GPU-P40-X		1根，线缆编码0404A0UC
GPU-V100
GPU-V100-32G
GPU-V100S-32G-M
GPU-A100-40G
GPU-A30-24G
GPU-A40-48G-DW*
GPU-RTX6000
GPU-Atlas 910 B-32G
GPU-A10-24G-MP		1根，线缆编码0404A1DT
*：A40 GPU仅支持安装在12LFF硬盘配置下使用，24LFF硬盘配置下不可使用。 ·     为避免造成GPU卡损坏，请务必使用GPU卡自带的或相同编码的电源线缆。 ·     GPU线缆连接方法请参见7.4  连接GPU卡电源线缆。

 

2. 安装准则

·     配置8GPU计算模块时，最多支持安装8个GPU，GPU的安装顺序依次为：slot7、slot8、slot9、slot10、slot11、slot12、slot13、slot14。

·     配置16GPU计算模块时，最多支持安装16个GPU，GPU的安装顺序依次为：slot7、slot8、slot9、slot10、slot11、slot12、slot13、slot14、slot15、slot16、slot17、slot18、slot19、slot20、slot21、slot22。

GPU计算模块槽位的具体位置请参见2.7  GPU计算模块。

2.11.6  NVLink Bridge模块

1. 简介

NVLink是世界首项高速GPU互连技术，与传统的PCIe系统解决方案相比，能为多GPU系统提供更快速的带宽性能。两张GPU-A100-40G GPU卡通过NVLink Bridge模块连接后，可以不经过CPU而直接通信，不仅获得了高速带宽，而且释放了CPU的压力。NVLink技术能够为服务器提供更高效的性能扩展，从而满足更大的视觉计算工作负载需求。

图2-17 NVLink GPU互连技术

 

2. 安装准则

相邻的两张GPU-A100-40G GPU卡上，支持选配三个NVLink Bridge模块，以提升这两张GPU卡的性能。建议按照slot7-slot8、slot9-slot10、slot11-slot12、slot13-slot14槽位顺序安装且相邻槽位间必须同时选配三个NVLink Bridge模块，否则无法提升GPU卡性能。

2.11.7  网卡

服务器支持OCP3.0网卡和标准PCIe网卡。

1. OCP网卡安装准则

·     OCP网卡通过OCP转接模块安装到服务器，OCP转接模块必须安装到主板上的OCP转接模块插槽，插槽的具体位置请参见图2-11。

·     OCP网卡暂不支持热插拔。

2. 标准PCIe网卡安装准则

·     标准PCIe网卡必须安装在GPU计算模块上的PCIe slot 1～4，各slot的具体位置请参见2.6.1  后面板组件。

·     当配置不同的GPU计算模块时，标准PCIe网卡的安装准则也不同，详细信息请参见表2-25和表2-26。

表2-25 8GPU计算模块上标准PCIe网卡的安装准则

标准PCIe网卡配置数量（张）	slot 1	slot 2	slot 3	slot 4
1	×	×	×	√
2	×	√	×	√
3	×	√	√	√
4	√	√	√	√
·     √表示建议安装标准PCIe网卡的槽位。 ·     ×表示不建议安装标准PCIe网卡的槽位。 ·     如需使GPU计算模块上对应的slot可用，需要连接对应的线缆，不同应用场景线缆连接方法不同，详细信息请参见7.3.1  连接8GPU-AI线缆和7.3.2  连接8GPU-HPC线缆。

 

表2-26 16GPU计算模块上标准PCIe网卡的安装准则

标准PCIe网卡配置数量（张）	slot 1	slot 2	slot 3	slot 4
1	×	×	×	√
2	×	√	×	√
3	×	√	√	√
4	√	√	√	√
·     √表示建议安装标准PCIe网卡的槽位。 ·     ×表示不建议安装标准PCIe网卡的槽位。 ·     当PCIe slot 1～4已安装GPU卡时，则可以安装标准PCIe网卡的slot编号按表格中的准则顺延。若全部slot均已安装GPU卡时，则服务器不再支持标准PCIe网卡。

 

2.11.8  SATA M.2 SSD卡

为确保SATA M.2 SSD卡配置RAID时的可靠性，建议安装2张相同型号的SATA M.2 SSD卡。

2.11.9  风扇模块

4个风扇模块必须全部在位。

2.11.10  CPU

1. CPU安装准则

·     服务器上的CPU必须满配。

·     为避免损坏CPU或主板，只限H3C授权人员或专业的服务器工程师安装CPU。

·     请确保同一服务器上安装的CPU型号相同。

·     CPU产品型号后缀为U，代表此CPU仅支持单路运行。CPU产品型号后缀请参见2. CPU产品型号后缀的含义。

·     为避免CPU底座中针脚损坏，请确保在未安装CPU的底座中安装了CPU盖片。

·     为防止人体静电损坏电子组件，请在操作前佩戴防静电手腕，并将防静电手腕的另一端良好接地。

2. CPU产品型号后缀的含义

若CPU产品型号是：UN-CPU-INTEL-8360Y-S，那么它的后缀为“Y”（简称CPU产品型号后缀）。服务器支持的CPU产品型号可通过服务器兼容的部件查询工具查询。

Intel Cascade/Skylake CPU产品型号后缀含义如表2-27。

表2-27 Intel Cascade/Skylake CPU产品型号后缀说明

CPU产品型号后缀	后缀含义	后缀说明
N	NFV Optimized	NFV场景优化
S	Search Optimized	搜索场景优化
T	High Tcase	支持高温度规格的CPU型号
U	Single Socket	仅支持单路运行
V	VM Density Optimized	虚拟机密度优化
Y	Speed Select	支持英特尔SST技术，可配置内核数量和内核频率
M	2TB/Socket memory tier	支持高内存容量，单颗CPU最高可支持2TB的内存容量
L	4.5TB/Socket memory tier	支持高内存容量，单颗CPU最高可支持4.5TB的内存容量
本表提供的信息仅供参考，具体内容以Intel官网资料为准。

 

2.11.11  内存

内存，又称DIMM，DIMM包括DDR4和DCPMM两类内存，其中DDR4又包括LRDIMM和RDIMM。

1. 内存基本概念

(1)     DDR4和DCPMM

·     DDR4是最为常见的内存类型。服务器系统意外掉电时，DDR4中的数据会丢失。

·     DCPMM具有如下两个特点。

¡     相比于DDR4，DCPMM具有更大的单根内存容量。

¡     DCPMM（如Apache Pass）具有数据掉电保护功能。服务器系统意外掉电时，DCPMM中的数据不会丢失。

(2)     RDIMM和LRDIMM

·     RDIMM提供了地址奇偶校验保护功能。

·     LRDIMM可为系统提供更大的容量和带宽。

(3)     Rank

内存的RANK数量通常为1、2、4、8，一般简写为1R/SR、2R、4R、8R，或者Single-Rank、Dual-Rank、Quad-Rank、8-Rank。

·     1R DIMM具有一组内存芯片，在DIMM中写入或读取数据时，将会访问这些芯片。

·     2R DIMM相当于一个模块中包含两个1R DIMM，但每次只能访问一个Rank。

·     4R DIMM相当于一个模块中包含两个2R DIMM，但每次只能访问一个Rank。

·     8R DIMM相当于一个模块中包含两个4R DIMM，但每次只能访问一个Rank。

在DIMM中写入或读取数据时，服务器内存控制子系统将在DIMM中选择正确的Rank。

(4)     内存规格

可通过内存上的标签确定内存的规格。

图2-18 内存标识

 

表2-28 内存标识说明

编号	说明	定义
1	容量	·     8GB ·     16GB ·     32GB
2	Rank数量	·     1R = Rank数量为1 ·     2R = Rank数量为2 ·     4R = Rank数量为4 ·     8R = Rank数量为8
3	数据宽度	·     x4 = 4位 ·     x8 = 8位
4	DIMM代数	DDR4
5	DIMM等效速度	·     2133P：2133MHz ·     2400T：2400MHz ·     2666V：2666MHz ·     2933Y：2933MHz
6	DIMM类型	·     R = RDIMM ·     L = LRDIMM

 

2. 内存模式

服务器支持通过以下内存模式来保护DIMM中的数据。缺省情况下，服务器的内存模式为Independent Mode，用户可根据需要修改内存模式。内存模式的含义和修改方法请参见产品的BIOS用户指南。

·     Independent Mode

·     Mirror Mode

·     Memory Rank Sparing Mode

3. 内存安装准则

服务器支持2路CPU，每路CPU支持6个通道，每个通道支持2根DIMM，服务器支持24根DIMM。不同CPU平台，支持的内存类型不同，详细信息请参见如表2-29。

表2-29 不同CPU平台的DIMM支持情况

CPU平台	DIMM支持情况
SkyLake	·     支持仅配置DDR4 ·     不支持16Gbit颗粒的内存
Cascade Lake	·     支持仅配置DDR4 ·     支持混配DCPMM和DDR4
澜起Jintide C系列（仅包括C1系列）	支持仅配置DDR4
·     仅配置DDR4时，DIMM安装准则请参见仅配置DDR4时的内存安装准则。 ·     混配DCPMM和DDR4时，DIMM安装准则请参见混配DCPMM和DDR4时的内存安装准则。 ·     DDR4内存颗粒容量计算方法：内存颗粒容量=内存条容量/内存颗粒数=内存条容量/((64/颗粒位宽)*Rank数）；其中64代表CPU接口位宽。 ¡     以UN-DDR4-2933P-16G-1Rx4-R为例：内存条容量为16GB，即16*8Gbit；颗粒位宽为4，Rank数为1；则内存颗粒容量=(16*8)/((64/4)*1)=8Gbit。 ¡     以UN-DDR4-3200AA-64G-2Rx4-R为例：内存条容量为64GB，即64*8Gbit；颗粒位宽为4，Rank数为2；则内存颗粒容量=(64*8)/((64/4)*2)=16Gbit。

 

 

内存和CPU的兼容性

内存和CPU的兼容性，如表2-30所示。

表2-30 内存和CPU的兼容性

CPU类型	CPU兼容的内存类型@频率	说明
·     Intel Skylake ·     澜起Jintide C1	·     DRAM @2933MHz ·     DRAM @2666MHz	CPU兼容的DRAM @2933MH，仅包括如下编码： 0231ABE2、0231AC4S、0231AC4R、0231ABDT、0231AC4V、0231AC4Q、0231ABDU、0231AC4T、0231AC4U
Intel Cascade Lake	·     DRAM @2933MHz ·     DCPMM @2666MHz	如下CPU不兼容DCPMM： ·     32XX系列 ·     42XX系列（除4215、4215R）

 

内存运行频率

 

内存在服务器上的运行频率，与内存频率、CPU支持的最高内存频率有关，确认流程如图2-19所示，具体细则如下：

·     CPU支持的最高内存频率＜内存频率时，内存运行频率为CPU支持的最高内存频率。

·     CPU支持的最高内存频率＞内存频率时，内存运行频率为内存频率。

·     CPU支持的最高内存频率=内存频率时，服务器的DPC（DIMM Per Channel，每个通道中配置的内存数量）配置不同，内存运行频率也不同：

¡     CPU支持最高频率和内存频率=2933 MHz时：

-     所有内存通道均为1 DPC配置时，内存运行频率为2933 MHz。

-     存在2 DPC配置（含DDR4和DCPMM混配）时，服务器上的所有内存均会降频，内存运行频率为2666 MHz。

¡     CPU支持最高频率和内存频率＜2933 MHz时，1 DPC和2 DPC内存运行频率均为内存频率。

图2-19 内存运行频率确认流程图

 

仅配置DDR4时的内存安装准则

·     确保相应的CPU已安装到位。

·     在同一台服务器上优先配置相同编码相同规格（类型、容量、Rank、频率等）的DDR4内存，产品编码信息请通过官网服务器兼容的部件查询工具进行查询。如涉及部件扩容或故障需替换成其他规格的内存时，请联系技术支持确认。

·     每个通道最多支持8个Rank。

·     一般的内存安装准则，如图2-20所示。

·     除上述准则外，不同DIMM模式还有各自特定的准则，具体请参见表2-31。需要注意的是，当实际DIMM安装不满足这些特定准则时，无论用户配置了何种DIMM模式，系列均会自动降级并使用缺省的Independent Mode。

表2-31 不同内存模式的特定安装准则

内存模式	特定安装准则
Independent Mode（缺省）	·     遵循一般的内存安装准则，如图2-20所示。
Mirror Mode	·     确保每个CPU至少安装2根内存。 ·     遵循一般的内存安装准则，如图2-20所示。需要注意的是，该模式不支持一般内存安装准则中不推荐的内存配置。
Memory Rank Sparing	·     确保安装了内存的通道，每个通道的内存Rank总数大于等于2。 ·     遵循一般的内存安装准则，如图2-20所示。

 

 

图2-20 内存安装准则

 

混配DCPMM和DDR4时的内存安装准则

·     确保相应的CPU已安装到位。

·     不同规格（类型、容量、Rank、数据宽度、速率）的DDR4不支持混插，即服务器上配置的所有DDR4产品编码必须相同；不同规格的DCPMM不支持混插，即服务器上配置的所有DCPMM产品编码必须相同。

·     DCPMM内存和DDR4尽量分布在不同的通道上，以提升内存访问带宽。

·     每个通道最多支持1根DCPMM，同一服务器上所有DCPMM容量必须相同。

·     对于每个CPU，DCPMM内存尽量在两个内存控制器对称分布。

·     一个通道内，如果同时安装DCPMM和DDR4，DCPMM安装在黑色插槽，DDR4安装在白色插槽；一个通道内，如果仅安装一根DCPMM，则DCPMM安装在白色槽位。

2.11.12  NVMe VROC模块

介绍服务器支持的NVMe VROC模块及规格信息，如表2-32所示。

表2-32 NVMe VROC模块规格

型号	说明	支持的RAID级别
NVMe-VROC-Key-S	NVMe VROC模块标准版，支持任意品牌的NVMe硬盘	RAID 0/1/10
NVMe-VROC-Key-P	NVMe VROC模块高级版，支持任意品牌的NVMe硬盘	RAID 0/1/5/10
NVMe-VROC-Key-i	NVMe VROC模块Intel版，仅支持Intel NVMe硬盘	RAID 0/1/5/10

 

2.12  服务器B/D/F信息

2.12.1  8GPU-HPC配置方案的B/D/F信息

8GPU-HPC配置方案的B/D/F信息如表2-33所示。

表2-33 8GPU-HPC配置方案的B/D/F信息

安装位置	部件所在槽位号	从属CPU	端口号	Rootport（B/D/F）	Endpoint（B/D/F）
GPU计算模块	slot 1	CPU 1	Port 3A	6a:00.0	6b:00.0
	slot 2	CPU 1	Port 2A	32:00.0	3c:00.0
	slot 3	CPU 2	Port 2A	c0:00.0	c1:00.0
	slot 4	CPU 2	Port 1A	a0:00.0	aa:00.0
OCP网卡插槽	slot 5	CPU 1	Port 1A	1c:00.0	1d:00.0
Mezz存储控制卡插槽	slot 6	CPU 1	Port 1C	1c:00.0	1e:00.0
GPU计算模块	slot 7	CPU 1	Port 2A	32:00.0	3f:00.0
	slot 8	CPU 1	Port 2A	32:00.0	3b:00.0
	slot 9	CPU 1	Port 2A	32:00.0	38:00.0
	slot 10	CPU 1	Port 2A	32:00.0	37:00.0
	slot 11	CPU 2	Port 1A	a0:00.0	ad:00.0
	slot 12	CPU 2	Port 1A	a0:00.0	a9:00.0
	slot 13	CPU 2	Port 1A	a0:00.0	a6:00.0
	slot 14	CPU 2	Port 1A	a0:00.0	a5:00.0
·     slot 5（OCP网卡插槽）、slot 6（Mezz存储控制卡插槽）具体位置请参见2.8  主板。 ·     B/D/F，即Bus/Device/Function Number。 ·     Rootport（B/D/F）是CPU内部PCIe根节点的Bus总线号，Endpoint（B/D/F）是在OS系统下的PCIe卡的Bus总线号。 ·     本表B/D/F值为满足以下全部配置时的默认值： ¡     CPU满配 ¡     所有GPU计算模块上满配GPU卡/PCIe卡、slot 5配置OCP网卡、slot 6配置Mezz存储控制卡 ¡     满配4个NVMe硬盘 当以上任意条件不满足或配置了带PCI bridge的PCIe卡时，B/D/F可能会改变。 ·     服务器的B/D/F获取方式请参见2.12.4  服务器B/D/F信息获取方式。

 

2.12.2  8GPU-AI配置方案的B/D/F信息

8GPU-AI配置方案的B/D/F信息如表2-33所示。

表2-34 8GPU-AI配置方案的B/D/F信息

安装位置	部件所在槽位号	从属CPU	端口号	Rootport（B/D/F）	Endpoint（B/D/F）
GPU计算模块	slot 1	CPU 1	Port 3A	6a:00.0	6b:00.0
	slot 2	CPU 2	Port 1A	a0:00.0	a1:00.0
	slot 3	CPU 2	Port 2A	c0:00.0	c1:00.0
	slot 4	CPU 1	Port 1A	32:00.0	45:00.0
OCP网卡插槽	slot 5	CPU 1	Port 1A	1c:00.0	1d:00.0
Mezz存储控制卡插槽	slot 6	CPU 1	Port 1C	1c:00.0	1e:00.0
GPU计算模块	slot 7	CPU 1	Port 2A	32:00.0	50:00.0
	slot 8	CPU 1	Port 2A	32:00.0	3b:00.0
	slot 9	CPU 1	Port 2A	32:00.0	38:00.0
	slot 10	CPU 1	Port 2A	32:00.0	37:00.0
	slot 11	CPU 1	Port 2A	32:00.0	48:00.0
	slot 12	CPU 1	Port 2A	32:00.0	44:00.0
	slot 13	CPU 1	Port 2A	32:00.0	41:00.0
	slot 14	CPU 1	Port 2A	32:00.0	40:00.0
·     slot 5（OCP网卡插槽）、slot 6（Mezz存储控制卡插槽）具体位置请参见2.8  主板。 ·     B/D/F，即Bus/Device/Function Number。 ·     Rootport（B/D/F）是CPU内部PCIe根节点的Bus总线号，Endpoint（B/D/F）是在OS系统下的PCIe卡的Bus总线号。 ·     本表B/D/F值为满足以下全部配置时的默认值： ¡     CPU满配 ¡     所有GPU计算模块上满配GPU卡/PCIe卡、slot 5配置OCP网卡、slot 6配置Mezz存储控制卡 ¡     满配4个NVMe硬盘 当以上任意条件不满足或配置了带PCI bridge的PCIe卡时，B/D/F可能会改变。 ·     服务器的B/D/F获取方式请参见2.12.4  服务器B/D/F信息获取方式。

 

2.12.3  16GPU配置方案的B/D/F信息

16GPU配置方案的B/D/F信息如表2-33所示。

表2-35 16GPU配置方案的B/D/F信息

安装位置	部件所在槽位号	从属CPU	端口号	Rootport（B/D/F）	Endpoint（B/D/F）
GPU计算模块	slot 1	CPU1	Port 2A	3a:00.0	40:00.0
	slot 2	CPU1	Port 3A	5d:00.0	63:00.0
	slot 3	CPU2	Port 2A	ae:00.0	b1:00.0
	slot 4	CPU2	Port 1A	85:00.0	89:00.0
OCP网卡插槽	slot 5	CPU1	Port 1A	17:00.0	18:00.0
Mezz存储控制卡插槽	slot 6	CPU1	Port 1C	17:00.0	19:00.0
GPU计算模块	slot 7	CPU1	Port 3A	5d:00.0	64:00.0
	slot 8	CPU1	Port 3A	5d:00.0	62:00.0
	slot 9	CPU1	Port 3A	5d:00.0	60:00.0
	slot 10	CPU1	Port 3A	5d:00.0	61:00.0
	slot 11	CPU1	Port 2A	3a:00.0	41:00.0
	slot 12	CPU1	Port 2A	3a:00.0	3f:00.0
	slot 13	CPU1	Port 2A	3a:00.0	3d:00.0
	slot 14	CPU1	Port 2A	3a:00.0	3e:00.0
	slot 15	CPU2	Port 1A	85:00.0	8b:00.0
	slot 16	CPU2	Port 1A	85:00.0	8c:00.0
	slot 17	CPU2	Port 1A	85:00.0	8a:00.0
	slot 18	CPU2	Port 1A	85:00.0	88:00.0
	slot 19	CPU2	Port 2A	ae:00.0	b2:00.0
	slot 20	CPU2	Port 2A	ae:00.0	b4:00.0
	slot 21	CPU2	Port 2A	ae:00.0	b5:00.0
	slot 22	CPU2	Port 2A	ae:00.0	b3:00.0
·     slot 5（OCP网卡插槽）、slot 6（Mezz存储控制卡插槽）具体位置请参见2.8  主板。 ·     B/D/F，即Bus/Device/Function Number。 ·     Rootport（B/D/F）是CPU内部PCIe根节点的Bus总线号，Endpoint（B/D/F）是在OS系统下的PCIe卡的Bus总线号。 ·     本表B/D/F值为满足以下全部配置时的默认值： ¡     CPU满配 ¡     所有GPU计算模块上满配GPU卡/PCIe卡、slot 5配置OCP网卡、slot 6配置Mezz存储控制卡 ¡     满配4个NVMe硬盘 当以上任意条件不满足或配置了带PCI bridge的PCIe卡时，B/D/F可能会改变。 ·     服务器的B/D/F获取方式请参见2.12.4  服务器B/D/F信息获取方式。

 

2.12.4  服务器B/D/F信息获取方式

服务器的B/D/F信息随着PCIe卡配置的变化可能会发生改变，用户可通过如下途径获取服务器的B/D/F信息：

·     BIOS串口日志：如已收集串口日志，可通过搜索关键词“dumpiio”，查询到服务器的B/D/F信息。

·     UEFI Shell：用户可通过pci命令获取服务器的B/D/F，pci命令具体使用方法可通过help pci命令获取。

·     操作系统下获取，不同操作系统下，获取方式会有所不同，具体方法如下：

¡     Linux操作系统下：可通过"lspci -vvv"命令获取服务器的B/D/F信息。

 

¡     Windows操作系统下：安装pciutils软件包后，使用"lspci"命令获取服务器的B/D/F信息。

¡     Vmware操作系统下：Vmware操作系统默认支持"lspci"命令，用户可直接通过"lspci"命令获取。

 

3 安装和拆卸R5300 G3

介绍安装和拆卸服务器的操作方法。

3.1  安装流程

服务器安装流程如图3-1所示。

图3-1 安装流程

 

3.2  安装规划

在安装服务器前，请先规划和准备满足设备正常运行的物理环境，包括空间和通风、温度、湿度、洁净度、高度和接地等。

3.2.1  机柜要求

机箱高4U，深度800mm，对机柜的要求如下：

·     标准19英寸机柜。

·     建议机柜深度1200mm及以上。不同深度机柜的安装限制如表3-1所示，建议技术支持人员现场工勘，排除潜在问题。

表3-1 不同深度机柜的安装限制

机柜深度	安装限制
1000mm	·     不支持安装H3C CMA。 ·     如配置H3C滑道，可能存在滑道与PDU相互干涉的风险，需工勘确认是否可调整PDU的安装位置或配置合适尺寸的PDU。如不能满足，则建议使用托盘等其他的固定方式。 ·     机箱后部需预留60mm走线空间。
1100mm	如安装H3C CMA，需确认CMA不会与机柜后部PDU干涉，否则请更换更大深度尺寸的机柜或者调整PDU的安装位置。
1200mm	需确认H3C CMA不会与机柜后部PDU、线缆等相互干涉，否则请调整PDU的安装位置。

 

·     机柜前方孔条距离机柜前门大于50mm。

·     服务器在1200mm机柜中的安装建议，请参考图3-2。

图3-2 服务器在1200mm机柜中的安装建议（机柜俯视图）

机柜尺寸建议与要求
(1):机柜深度，建议1200mm	(2):机柜前方孔条与机柜前门间距，大于50mm
·     建议PDU采用向后直出线的方式，以免与机箱之间产生干涉。 ·     若PDU采用侧向出线的方式，建议技术支持人员现场工勘，确认PDU是否会与机箱后部相互干涉。
服务器相关尺寸参数
(3):机柜前方孔条与机箱后端（含电源后部拉手，图中未展示）间距，为830mm	(4):机箱深度（含挂耳），为830mm
(5):机柜前方孔条与CMA后端间距，为970mm	(6):机柜前方孔条与滑道后端间距，为880mm

 

3.2.2  空间和通风要求

为方便服务器维护和正常通风，在确定机柜位置时，应满足以下空间和通风要求。

·     搬运服务器的通道，净宽不应小于1.5m。

·     面对面布置的机柜，正面之间的距离不宜小于1.2m。

·     背对背布置的机柜，背面之间的距离不宜小于0.8m。

·     机柜与墙之间的距离不宜小于1m。

·     为避免散热不充分而损坏服务器，请勿阻塞服务器的通风口。

·     确保服务器前后部通风良好，以便周围的空气进入机柜，并将热气从机柜中排出。

·     服务器所在位置的空调送风量应足够提供服务器所需的风量，保证服务器内部各组件散热。

服务器的空气流动方向如图3-3所示。

图3-3 机箱风道示意图

 

(1)～(11):机箱进风方向	(12)～(13):机箱出风方向

 

3.2.3  温度和湿度要求

为确保服务器正常工作，机房内需维持一定的温度和湿度。关于服务器环境温度和湿度要求，请参见2.2.2  技术参数。

3.2.4  高度要求

为确保服务器正常工作，对机房的高度有一定要求，详细信息请参2.2.2  技术参数。

3.2.5  腐蚀性气体浓度限值要求

1. 腐蚀性气体简介

腐蚀性气体可与设备内部的金属材料发生化学反应，不仅会腐蚀金属部件，加速设备老化，还容易导致设备故障。常见腐蚀性气体种类及来源如表3-2所示。

表3-2 常见腐蚀性气体种类及来源

种类	主要来源
H2S（硫化氢）	地热排出物、微生物活动、石油制造业、木材腐蚀和污水处理等
SO2（二氧化硫）、SO3（三氧化硫）	煤燃烧、石油产品、汽车废气、熔炼矿石、硫酸制造业和烟草燃烧等
S（硫磺）	铸工车间和硫磺制造业等
HF（氟化氢）	化肥制造业、铝制造业、陶瓷制造业、钢铁制造业、电子设备制造业和矿物燃烧等
NOx（氮氧化物）	汽车尾气、石油燃烧、微生物活动和化学工业等
NH3（氨气）	微生物活动、污水、肥料制造业和地热排出物等
CO（一氧化碳）	燃烧、汽车尾气、微生物活动和树木腐烂等
Cl2（氯气）、ClO2（二氧化氯）	氯制造业、铝制造业、锌制造业和废物分解等
HCl（氯化氢酸）	汽车尾气、燃烧、森林火灾和海洋的过程聚合物燃烧等
HBr（氢溴酸）、HI（氢碘酸）	汽车尾气等
O3（臭氧）	大气光化学过程（大部分包括一氧化氮和过氧氢化合物）等
CnHn（烷烃）	汽车尾气、烟草燃烧、动物排泄物、污水和树木腐烂等

 

2. 数据中心机房腐蚀性气体浓度限值要求

数据中心机房内腐蚀性气体浓度限值建议满足ANSI/ISA 71.4标准中的腐蚀性气体G1等级要求，对应的铜测试片腐蚀产物厚度增长速率应低于300 Å/月，银测试片腐蚀产物厚度增长速率应低于200 Å/月。

 

为满足G1等级的铜/银测试片腐蚀速率要求，数据中心机房内腐蚀性气体浓度建议值如表3-3所示。

表3-3 数据中心机房腐蚀性气体浓度要求

气体	浓度（ppb）
H2S（硫化氢）	＜3
SO2（二氧化硫）,SO3（三氧化硫）	＜10
Cl2（氯气）	＜1
NOx（氮氧化物）	＜50
HF（氟化氢）	＜1
NH3（氨）	＜500
O3（臭氧）	＜2

 

 

由于产品受机房腐蚀性气体影响存在一定的差异性，各产品对机房腐蚀性气体浓度的具体要求请参见该产品的安装指导。

3. 非数据中心机房腐蚀性气体浓度限值要求

非数据中心机房内腐蚀性气体浓度限值建议满足IEC 60721-3-3:2002化学活性物质3C2等级的要求，如表3-4所示。

表3-4 非数据中心机房内腐蚀性气体浓度要求

腐蚀性气体类别	平均值（mg/m3）	最大值（mg/m3）
SO2（二氧化硫）	0.3	1.0
H2S（硫化氢）	0.1	0.5
Cl2（氯气）	0.1	0.3
HCI（氯化氢）	0.1	0.5
HF（氟化氢）	0.01	0.03
NH3（氨气）	1.0	3.0
O3（臭氧）	0.05	0.1
NOx（氮氧化物）	0.5	1.0

 

 

由于产品受机房腐蚀性气体影响存在一定的差异性，各产品对机房腐蚀性气体浓度的具体要求请参见该产品的安装指导。

4. 措施和建议

为达到上述要求，可对机房采取如下措施：

·     机房尽量避免建在腐蚀性气体浓度较高的地方。

·     机房不得与下水、排污、竖井、化粪池等管道相通，机房外部也应远离此类管道，机房入风口应背对这类污染源。

·     机房装修使用环保材料，应避免使用含硫、含氯的保温棉、橡胶垫、隔音棉等有机材料，同时含硫较多的石膏板也应避免使用。

·     柴油、汽油机应单独放置，禁止与设备同处一个机房内；燃油机位于机房外部时，排风方向应在机房下风处，并远离空调进风口。

·     蓄电池应单独隔离放置，禁止和电子信息设备放在同一个房间；

·     定期请专业公司进行监测和维护。

3.2.6  洁净度要求

室内灰尘落在机体上，可能造成静电吸附，使金属接插件或金属接点接触不良，不但会影响设备使用寿命，而且容易引起通信故障。

1. 数据中心机房洁净度要求

数据中心机房内灰尘含量建议满足ISO 14644-1 8等级洁净度要求，具体要求见表3-5。

表3-5 数据中心机房灰尘含量要求

灰尘粒子直径	含量	备注
≥5μm	≤29300粒/m3	机房不应产生锌晶须粒子
≥1μm	≤832000粒/m3
≥0.5μm	≤3520000粒/m3

 

由于产品受灰尘粒子影响存在一定的差异性，各产品对灰尘粒子含量的具体要求请参见该产品的安装指导。

2. 非数据中心机房洁净度要求

非数据中心机房内灰尘粒子（直径≥0.5μm）的含量建议满足GB 50174-2017标准要求，即小于等于17600000粒/m³。

由于产品受灰尘粒子影响存在一定的差异性，各产品对灰尘粒子含量的具体要求请参见该产品的安装指导。

3. 措施和建议

为达到上述要求，可对机房采取如下措施：

·     机房远离污染源，工作人员禁止在机房内吸烟、饮食。

·     建议门、窗加防尘橡胶条密封，窗户建议装双层玻璃并严格密封。

·     地面、墙面、顶面采用不起尘的材料，应刷无光涂料，不要刷易粉化的涂料，避免粉尘脱落。

·     经常打扫机房，保持机房整洁，并每月定期清洗机柜防尘网。

·     相关人员进入机房前应穿好防静电工作服、戴好鞋套，保持鞋套、防静电工作服清洁，经常更换。

3.2.7  接地要求

良好的接地系统是服务器稳定可靠运行的基础，是服务器防雷击、抗干扰、防静电及安全的重要保障。服务器通过供电系统的接地线缆接地，用户无需额外连接接地线缆。

3.2.8  存放要求

·     HDD硬盘断电存放时间建议小于6个月。

·     SSD、M.2卡、SD卡等存储介质，断电存放时间建议小于3个月，长期断电可能存在数据丢失的风险。

·     当服务器整机、HDD/SSD/M.2卡/SD卡等存储介质需要断电存放3个月及以上时，建议每3个月至少上电运行一次，每次上电运行时间不少于2小时。服务器上电和下电的操作方法请参见4 上电和下电。

3.3  工具准备

在安装、使用和维护服务器时，需准备以下工具和设备。

表3-6 工具要求

图示	名称	说明
	T25 Torx星型螺丝刀	用于智能挂耳上的松不脱螺钉
	T30 Torx星型螺丝刀	用于CPU散热器上的松不脱螺钉
	T15 Torx星型螺丝刀（随服务器发货）	用于PCIe卡的固定螺钉、机箱运输螺钉与机箱内的松不脱螺钉等
	T10 Torx星型螺丝刀（随服务器发货）	用于智能挂耳的固定螺钉等
	一字螺丝刀	用于更换CPU等
	十字螺丝刀	用于通流铜柱的固定螺钉等
	浮动螺母安装条	用于牵引浮动螺母，使其安装在机柜的固定导槽孔位上
	斜口钳	用于剪切绝缘套管等
	卷尺	用于测量距离
	万用表	用于测量电阻、电压，检查电路
	防静电腕带	用于操作服务器时使用
	防静电手套
	防静电服
	梯子	用于高处作业
	接口线缆（如网线、光纤）	用于服务器与外接网络互连
	显示终端（如PC）	用于服务器显示

 

3.4  安装R5300 G3

介绍安装服务器的操作方法。

3.4.1  安装滑道

将滑道的外导轨安装到机柜上，内导轨安装到服务器上，具体方法请参见安装标准、滚珠、短距滑道。

3.4.2  安装R5300 G3

 

安装服务器的操作方法如下，具体方法请参见服务器安装到机柜。

(1)     拆卸机箱两侧的运输螺钉，请根据机箱上的标识确认运输螺钉的具体位置，如图3-4所示。

图3-4 拆卸机箱两侧运输螺钉

(2)     四人合力，利用机箱两侧的抬手，水平抬起服务器，并将服务器沿滑道缓缓推入机柜。推入过程中，服务器会被滑道锁定，根据滑道的型号不同，有以下两种解锁方式：

¡     方式一：按住内轨上的解锁弹片，同时将服务器推入机柜。

¡     方式二：推动内轨上的蓝色解锁按钮，同时将服务器推入机柜。

 

(3)     固定服务器。将服务器两侧挂耳紧贴机柜方孔条，打开智能挂耳的锁扣，用螺丝刀拧紧里面的松不脱螺钉。

3.4.3  （可选）安装理线架

如果已配置理线架，请安装。具体方法请参见理线架附带的文档。

3.5  连接外部线缆

介绍服务器外部线缆的连接方法。

3.5.1  连接鼠标、键盘和VGA接口线缆

1. 操作场景

在对服务器进行BIOS、HDM、iFIST、RAID以及进入操作系统等操作和配置时，可能需要连接鼠标、键盘和显示终端。

服务器前、后面板最多可提供2个DB15 VGA接口，用来连接显示终端；但未提供标准的PS2鼠标、键盘接口，用户可通过前面板和后面板的USB接口，连接鼠标和键盘。

 

根据鼠标、键盘的接口类型不同，连接方法有两种：

·     直接连接USB鼠标和键盘，连接方法与一般的USB线缆相同。

·     通过USB转PS2线缆连接PS2鼠标和键盘。

2. 操作步骤

(1)     如图3-5所示，将视频线缆的一端插入服务器的VGA接口，并通过插头两侧的螺钉固定。

图3-5 连接VGA接口

 

(2)     将视频线缆的另一端插入显示终端的VGA接口，并通过插头两侧的螺钉固定。

(3)     如图3-6所示，将USB转PS2线缆的USB接口一端插入服务器的USB接口，另一端的PS2接口分别连接到鼠标和键盘。

图3-6 连接USB转PS2线缆

 

3.5.2  连接网线

1. 操作场景

·     通过以太网搭建服务器的网络环境。

·     通过HDM专用网络接口，登录HDM管理界面进行服务器管理。

·     网络不通或网线长度不适合时，更换网线。

2. 操作步骤

(1)     确定服务器上的网络接口。

·     通过网卡上的以太网接口将服务器接入网络。

 

·     通过服务器上的HDM专用网络接口或OCP3.0网卡的共享网络接口，登录HDM进行设备管理。HDM专用网络接口的具体位置请参见2.6.1  后面板组件。

(2)     确定网线型号。

请确保网线导通（使用网线测试仪），网线型号与旧网线的型号一致或兼容。

(3)     为网线编号。

·     网线编号应与旧网线相同。

·     建议使用统一规格的标签。在标签上分别填写本端设备和对端设备的名称、编号。

(4)     连接网线。如图3-7所示，将网线一端连接到服务器的以太网接口，另一端连接对端设备。

图3-7 连接网线

 

(5)     检查网线连通性。

服务器上电后，可使用ping命令检查网络通信是否正常。如果通信不正常，请交叉测试网线或检查网线接头是否插紧。

(6)     绑扎网线，具体请参见3.5.5  固定线缆。

3.5.3  连接USB接口

1. 操作场景

服务器最多提供7个USB接口：

·     5个位于前、后面板，用于连接经常插拔的USB设备。

·     2个位于内部，用于连接不经常插拔的USB设备。

以下情况需要连接USB接口：

·     服务器上电后，需要键盘和鼠标进行系统操作和设置。

·     通过连接USB设备传输数据或安装操作系统。

2. 操作注意事项

·     确保USB设备功能正常。

·     确保已将需要的数据拷贝到USB设备中。

3. 操作步骤

 

(1)     （可选）如果用户要连接内部USB接口，请拆卸机箱盖，具体请参见6.8.3  1. 中的步骤(2)

(2)     连接USB设备。内部USB接口所在位置请参见2.8.1  主板布局。

(3)     （可选）如果已拆卸机箱盖，请安装，具体请参见6.8.3  2. 中的步骤(4)。

(4)     检查服务器能否识别USB设备。如果无法识别，请下载并安装USB设备的驱动程序；安装后如果仍然无法识别，请更换其他USB设备。

3.5.4  连接电源线缆

1. 操作注意事项

·     为避免人身伤害或设备损坏，请使用配套的电源线缆。

·     连接电源线缆前，请确保服务器和各个部件已安装完毕。

2. 操作步骤

(1)     将电源线缆一端插入服务器后面板上的电源模块插口，并使用电源模块拉环上的魔术贴固定电源线缆。

(2)     将电源线缆另一端插入外部供电系统，如机柜的交流插线板。

(3)     为防止电源线缆意外断开，请固定电源线缆。

3.5.5  固定线缆

完成所有布线后，可通过如下两种方法固定线缆。

1. 方法一：将线缆固定到理线架

具体方法请参见理线架附带的文档。

2. 方法二：使用线缆绑扎带（服务器随机附带）将线缆固定到机柜滑道

 

(1)     将线缆与机柜滑道贴紧，然后用线缆绑扎带固定。

(2)     用线缆绑扎带固定线缆。如图3-8中①和②所示，将线缆绑扎带的末端穿过扣带，使绑扎带的多余部分和扣带朝向滑道外部。

图3-8 将线缆固定到机柜滑道

 

3.5.6  布线指导

·     所有线缆在走线时，请勿遮挡服务器的进出风口，否则会影响服务器散热。

·     确保线缆连接时无交叉现象，便于端口识别和线缆的插拔。

·     确保所有线缆都进行了有效标识，使用标签书写正确的名词，便于检索。

·     当前不需要装配的线缆，建议将其盘绕整理，绑扎在机柜的合适位置。

·     为避免触电、火灾或设备损坏，请不要将电话或通信设备连接到服务器的RJ45以太网接口。

·     使用理线架时，每条线缆要保持松弛，以免从机柜中拉出服务器时损坏线缆。

3.6  拆卸R5300 G3

拆卸服务器的操作方法如下，具体方法请参见从机柜拆卸服务器。

(1)     将服务器下电，具体步骤请参见4.2  下电。

(2)     断开所有外部线缆。

(3)     打开智能挂耳上的锁扣，并拧开智能挂耳中的松不脱螺钉。

(4)     四人合力，沿滑道将服务器从机柜中缓缓拉出。

(5)     将服务器放在干净、平稳的防静电工作台或地面上，进行部件安装、更换和设备维护。

4 上电和下电

介绍服务器的上电和下电方法。

 

4.1  上电

介绍服务器的上电方法。

4.1.1  操作场景

·     服务器安装完毕，上电运行。

·     服务器维护完毕，重新上电运行。

4.1.2  前提条件

·     服务器及内部部件已经安装完毕。

·     服务器已连接外部供电系统。

·     服务器关机后，如果需要立刻执行开机操作，为确保服务器内部各部件能正常工作，建议关机后等待30秒以上（确保HDD硬盘彻底静止、各电子部件彻底掉电），再执行开机操作。

4.1.3  操作步骤

根据场景不同，有四种上电方式。

1. 方式一：通过前面板上的开机/待机按钮为服务器上电

按下服务器前面板上的开机/待机按钮，使服务器上电。

此时服务器退出待机状态，电源向服务器正常供电。当系统电源指示灯由橙色常亮变为绿色闪烁，最后变为绿色常亮时，表明服务器完成上电。系统电源指示灯的具体位置请参见图2-8。

2. 方式二：通过HDM Web界面的电源管理为服务器上电

具体步骤请参见HDM联机帮助。

3. 方式三：通过HDM Web界面的远程控制台为服务器上电

具体步骤请参见HDM联机帮助。

4. 方式四：服务器自动上电

通过以下方法之一开启服务器自动上电功能后，服务器一旦连接外部供电系统，会自动上电。

·     通过HDM Web开启设备自动上电功能，具体步骤请参见HDM联机帮助。

·     通过BIOS开启设备自动上电功能，具体步骤请参见产品的BIOS用户指南。

4.2  下电

介绍服务器的下电方法。

4.2.1  操作场景

·     维护服务器。

·     服务器需要搬迁。

4.2.2  前提条件

·     下电前，请确保所有数据已提前保存。

·     下电后，所有业务将终止，因此下电前请确保服务器的所有业务已经停止或者迁移到其他服务器上。

4.2.3  操作步骤

根据场景不同，有四种下电方式。

1. 方式一：通过关闭操作系统为服务器下电

(1)     将显示器、鼠标和键盘连接到服务器，关闭服务器操作系统。

(2)     断开服务器与外部供电系统之间的电源线缆。

2. 方式二：通过前面板上的开机/待机按钮为服务器下电

·     服务器正常关机流程

(1)     按下服务器前面板上的开机/待机按钮，使服务器下电。

(2)     当系统电源指示灯变为橙色常亮时，断开服务器与外部供电系统之间的电源线缆。

·     服务器非正常关机流程

(3)     按住服务器前面板上的开机/待机按钮5秒以上，使服务器下电。

 

(4)     断开服务器与外部供电系统之间的电源线缆。

3. 方式三：通过HDM Web界面的电源管理为服务器下电

(1)     HDM Web界面中操作的具体步骤请参见HDM联机帮助。

(2)     断开设备与外部供电系统之间的电源线缆。

4. 方式四：通过HDM Web界面的远程控制台为服务器下电

(1)     HDM Web界面和远程控制台中操作的具体步骤请参见HDM联机帮助。

(2)     断开设备与外部供电系统之间的电源线缆。

5 配置R5300 G3

介绍服务器安装完毕后，对其进行软件配置的过程。

5.1  配置流程

服务器配置流程如图5-1所示。

图5-1 服务器配置流程

 

5.2  上电启动

(1)     服务器的上电操步骤请参见4.1  上电。

(2)     上电启动后，请检查服务器前面板的Health指示灯是否正常，正常状态为绿色常亮。关于Health指示灯的详细说明，请参见2.5.2  指示灯和按钮。

5.3  设置BIOS

介绍如何设置服务器启动顺序和BIOS密码。

5.3.1  设置服务器启动顺序

用户可以根据需要修改服务器的启动顺序。缺省启动顺序和启动顺序的修改方法，请参见产品的BIOS用户指南。

5.3.2  设置BIOS密码

BIOS密码包括管理员密码和用户密码。缺省情况下，系统没有设置管理员密码和用户密码。

为防止未授权人员设置和修改服务器的BIOS系统配置，请用户同时设置BIOS的管理员密码和用户密码，并确保两者密码不相同。

设置管理员密码和用户密码后，进入系统时，必须输入管理员密码或用户密码。

·     当输入的密码为管理员密码时，获取的BIOS权限为管理员权限。

·     当输入的密码为用户密码时，获取的BIOS权限为用户权限。

管理员权限和用户权限的区别，请参见产品的BIOS用户指南。

BIOS的管理员密码和用户密码的具体设置方法，请参见产品的BIOS用户指南。

5.4  配置RAID

存储控制卡型号不同，支持的RAID级别和配置RAID的方法会有所不同，详细信息请参见产品的存储控制卡用户指南。

5.5  安装操作系统和驱动程序

介绍如何安装操作系统和驱动程序。

5.5.1  安装操作系统

服务器兼容Windows和Linux等多种类型的操作系统，详细信息请参见OS兼容性查询工具。

安装操作系统的具体方法，请参见产品的操作系统安装指导。

5.5.2  安装驱动程序

服务器安装新硬件后，如果操作系统中没有该硬件的驱动程序，则该硬件无法使用。

安装驱动程序的具体方法，请参见产品的操作系统安装指导。

 

5.6  更新固件

 

介绍如何更新固件。

用户可通过UniSystem或HDM更新以下固件，具体方法请参见产品的固件更新指导书。

·     HDM

·     BIOS

·     CPLD