- 产品与解决方案
- 行业解决方案
- 服务
- 支持
- 合作伙伴
- 关于我们
手册下载
|
|
|
||||
|
|
|||||
|
|
|||||
|
|||||
|
|
H3C UniServer R5560 G5服务器 技术白皮书 |
|
|
||
|
|
|||||
|
发布日期 |
5W100-20230815 |
||||
|
|
|||||
|
|||||
概述
本文档详细介绍H3C UniServer R5560 G5服务器的外观特点、性能参数以及部件兼容性等内容。
读者对象
本文档主要适用于以下人员：
l 售前工程师
l 技术支持工程师
l 维护工程师
符号约定
在本文中可能出现下列标志，它们所代表的含义如下。
|
符号 |
说明 |
|
|
表示如不避免则将会导致死亡或严重伤害的具有高等级风险的危害。 |
|
|
表示如不避免则可能导致死亡或严重伤害的具有中等级风险的危害。 |
|
|
表示如不避免则可能导致轻微或中度伤害的具有低等级风险的危害。 |
|
|
用于传递设备或环境安全警示信息。如不避免则可能会导致设备损坏、数据丢失、设备性能降低或其它不可预知的结果。 “须知”不涉及人身伤害。 |
|
|
对正文中重点信息的补充说明。 “说明”不是安全警示信息，不涉及人身、设备及环境伤害信息。 |
目 录
H3C UniServer R5560 G5服务器是基于鲲鹏920+昇腾910 AI处理器（NPU）的AI训练服务器，实现完全自主可控，广泛应用于深度学习模型开发和AI训练服务场景。该设备面向公有云、互联网、运营商、政府、交通、金融、高校、电力等领域，具有高计算密度、高能效比、高网络带宽、易扩展、易管理等优点，满足企业机房部署和大规模数据中心集群部署。
以10块硬盘配置为例的外观图如图1-1所示。
性能和扩展特点
该设备性能和扩展特点如下：
l 支持64 bits高性能多核鲲鹏920 CPU处理器，内部集成了DDR4、PCIe4.0、100GE、25GE、10GE、GE等接口，提供完整的SOC功能。
− 兼容适配Arm v8-A架构特性，支持Arm v8.1和Arm v8.2扩展。
− Core为64bits-TaiShan core核。
− 每个core集成64KB L1 I-cache，64KB L1 D-cache和512KB L2 D-cache。
− 支持高达48MB的L3 cache容量。
− 支持超标量，可变长度，乱序流水线。
− 支持ECC 1bit纠错，ECC 2bit报错。
− 支持片间Hydra高速接口，通道速率高达30Gbps。
− 支持8个DDR控制器。
− 最大支持8个物理以太网口。
− 支持3个PCIe控制器，支持GEN4（16Gbps），并可向下兼容。
− 支持IMU维护引擎，收集CPU状态。
l 支持面向深度学习训练的高性能多核昇腾910 AI处理器，并集成了DDR、图像&视频预处理器，外部通信模块、硬件加速器、芯片管理核等模块，提供完整的SOC功能。
− 昇腾910 AI处理器
− DDR
n 集成2个64bits位宽的DDR4控制器，支持单/双DDR通道的数据访问。
n DDR4最大支持接口数据速率：3200Mb/s。
l 单台设备支持4个鲲鹏920处理器，能够最大限度地提高多线程应用的并发执行能力。
l 单台设备最大支持8个昇腾910 AI处理器，能够最大限度地提高多线程应用的并发执行能力。
l 最大支持32条 DDR4 ECC内存，内存支持RDIMM，可支持最多提供2048GB内存容量。
l 支持多种灵活的硬盘配置方案，提供了弹性的、可扩展的存储容量空间，满足不同存储容量的需求和升级要求。
l 最多可支持2个PCIe4.0 x8的标准扩展槽位。
可用性和可服务性特点
该设备可用性和可服务性特点如下：
l 单板硬件采用电信级器件和加工工艺流程，可显著提高系统可靠性。
l 支持SAS/SATA/NVMe硬盘，其中SAS/SATA硬盘可以设置RAID 0/1/10/5/50/6/60，可提供RAID Cache，支持非系统硬盘热插拔。
l 通过面板提供UID/HLY LED指示灯，HDM-ST Web管理界面提供关键部件指示状态能够指引技术人员快速找到已经发生故障（或者正在发生故障）的组件，从而简化维护工作、加快解决问题的速度，并且提高系统可用性。
l BMC集成管理模块（HDM-ST）能够持续监控系统参数、触发告警，并且采取恢复措施，以便最大限度地避免停机。
可管理性及安全性特点
该设备可管理性及安全性特点如下：
l 集成在设备上的HDM-ST管理模块可用来监控系统运行状态，并提供远程管理功能。
l 集成了业界标准的统一可扩展固件接口（UEFI），因此能够提高设置、配置和更新效率，并且简化错误处理流程。
l 支持带锁的服务器机箱安全面板，保护设备的本地数据的安全性。
能源效率
该设备能源效率特点如下：
l 提供白金级电源模块，50%负载下电源模块效率高达96%。
l 高效率的单板VRD电源，降低DC转DC的损耗。
l 支持主备供电。
l 支持PID（Proportional-Integral-Derivative）智能调速，节能降耗。
l 全方面优化的系统散热设计，高效节能系统散热风扇，降低系统散热能耗。
l 硬盘错峰上电技术，降低设备启动功耗。
l 支持SSD硬盘，SSD硬盘的功耗比传统机械硬盘低80%。
该设备的各个部件如图3-1所示。
|
1 |
铜排模块 |
2 |
NPU风冷散热器 |
|
3 |
NPU板 |
4 |
加强横梁 |
|
5 |
硬盘背板 |
6 |
硬盘 |
|
7 |
风扇模块 |
8 |
主板导风罩 |
|
9 |
机箱 |
10 |
灵活IO卡 |
|
11 |
电源模块 |
12 |
电源框 |
|
13 |
Riser模组2 |
14 |
Riser模组1 |
|
15 |
主板 |
16 |
CPU风冷散热器 |
|
17 |
DIMM |
- |
- |
CPU集成在主板上，不能单独更换。NPU集成在NPU板上，不能单独更换。
该设备各个部件如图4-1所示。
|
1 |
铜排模块 |
2 |
NPU风冷散热器 |
|
3 |
NPU板假模块 |
4 |
NPU板 |
|
5 |
加强横梁 |
6 |
硬盘背板 |
|
7 |
硬盘 |
8 |
风扇模块 |
|
9 |
主板导风罩 |
10 |
机箱 |
|
11 |
灵活IO卡假模块 |
12 |
灵活IO卡 |
|
13 |
电源模块 |
14 |
电源框 |
|
15 |
Riser模组2 |
16 |
Riser模组1 |
|
17 |
主板 |
18 |
CPU风冷散热器 |
|
19 |
DIMM |
- |
- |
CPU集成在主板上，不能单独更换。NPU集成在NPU板上，不能单独更换。
该设备逻辑结构如图5-1所示。
l 集成四路鲲鹏920处理器，每个处理器支持8个DDR4 DIMM。
l 支持扩展RAID标卡，通过SAS信号线缆跟硬盘背板连接。
l HDM-ST使用自研管理芯片，外出VGA、管理网口、调试串口等管理接口。
l 集成两路昇腾910 NPU板，每路NPU板通过四路PCIe 4.0 x16与CPU主板对接。
l 昇腾910 NPU板支持四路昇腾910 NPU处理器，每两路处理器支持1个灵活IO卡B，灵活IO卡B支持1种插卡（2*100GE），通过NPU本身自带高速Serdes接口完成。
l 每一个NPU处理器提供了高达90GB/s的带宽能力，4路NPU之间实现Full Mesh连接，NPU之间提供的带宽为双向共60GB/s。
支持如下多种硬盘配置，以实际发货为准。
l 5x2.5英寸硬盘配置的设备前面板组件如图6-1所示。
|
1 |
硬盘 |
2 |
硬盘假模块 |
|
3 |
风扇 |
4 |
USB 3.0接口 |
|
5 |
VGA接口 |
6 |
标签卡（含SN标签） |
l 8x2.5英寸硬盘配置的设备前面板组件如图6-2所示。
|
1 |
硬盘 |
2 |
硬盘假模块 |
|
3 |
风扇 |
4 |
USB 3.0接口 |
|
5 |
VGA接口 |
6 |
标签卡（含SN标签） |
l 10x2.5英寸硬盘配置的设备前面板组件如图6-3所示。
|
1 |
硬盘 |
2 |
风扇 |
|
3 |
USB 3.0接口 |
4 |
VGA接口 |
|
5 |
标签卡（含SN标签） |
- |
- |
表6-1 前面板接口说明
|
名称 |
类型 |
说明 |
|
USB接口 |
USB 3.0 |
提供外出USB接口，通过该接口可以接入USB设备。 说明 l 使用外接USB设备时请确认USB设备状态良好，否则可能导致设备工作异常。 l 使用外接USB设备时，最大支持1米的延长线。 |
|
VGA接口 |
DB15 |
用于连接显示终端，例如显示器或物理KVM。 说明 l 前面板的VGA接口没有线缆固定螺钉，视频线缆容易脱落，推荐使用后面板的VGA接口。 l 同时连接前面板和后面板的VGA接口时，会优先使用前面板的VGA接口。 |
支持如下多种硬盘配置，以实际发货为准。
l 5x2.5英寸硬盘配置的前面板指示灯和按钮如图6-4所示。
|
1 |
UID按钮/指示灯 |
2 |
健康状态指示灯 |
|
3 |
电源按钮/指示灯 |
4 |
故障诊断数码管 |
|
5 |
硬盘Fault指示灯（黄色指示灯） |
6 |
硬盘Active指示灯（绿色指示灯） |
|
7 |
风扇模块指示灯 |
- |
- |
l 8x2.5英寸硬盘配置的前面板指示灯和按钮如图6-5所示。
|
1 |
UID按钮/指示灯 |
2 |
健康状态指示灯 |
|
3 |
电源按钮/指示灯 |
4 |
故障诊断数码管 |
|
5 |
硬盘Fault指示灯（黄色指示灯） |
6 |
硬盘Active指示灯（绿色指示灯） |
|
7 |
风扇模块指示灯 |
- |
- |
l 10x2.5英寸硬盘配置的前面板指示灯和按钮如图6-6所示。
图6-6 10x2.5英寸硬盘配置的前面板指示灯和按钮示意图
|
1 |
UID按钮/指示灯 |
2 |
健康状态指示灯 |
|
3 |
电源按钮/指示灯 |
4 |
故障诊断数码管 |
|
5 |
硬盘Fault指示灯（黄色指示灯） |
6 |
硬盘Active指示灯（绿色指示灯） |
|
7 |
风扇模块指示灯 |
- |
- |
表6-2 前面板指示灯/按钮说明
|
标识 |
指示灯/按钮 |
状态说明 |
|
|
故障诊断数码管 |
l 显示---：表示设备正常。 l 显示故障码：表示设备有部件故障。 故障码的详细信息，请参考“HDM-ST 告警处理”。 |
|
|
电源按钮/指示灯 |
电源指示灯说明： l 黄色（常亮）：表示设备处于待机（Standby）状态。 l 绿色（常亮）：表示设备已开机。 l 黄色（闪烁）：表示HDM-ST管理系统正在启动。 l 熄灭：表示设备未上电。 电源按钮说明： l 上电状态下短按该按钮，可以正常关闭OS。 l 上电状态下长按该按钮6秒钟，可以将设备强制下电。 l 待机状态下短按该按钮，可以进行上电。 |
|
|
UID按钮/指示灯 |
UID按钮/指示灯用于定位待操作的设备。 UID指示灯说明： l 熄灭：设备未被定位。 l 蓝色闪烁（闪烁255秒）：设备被重点定位。 l 蓝色常亮：设备被定位。 UID按钮说明： l 可通过手动按UID按钮、HDM-ST命令或者HDM-ST的WebUI远程控制使灯熄灭、点亮或闪烁。 l 短按UID按钮，可以打开/关闭定位灯。 l 长按UID按钮5秒左右，可以复位设备的HDM-ST管理系统。 |
|
|
健康状态指示灯 |
l 绿色（常亮）：表示设备运转正常。 l 红色（1Hz频率闪烁）：表示系统有严重告警。 l 红色（5Hz频率闪烁）：表示系统有紧急告警。 |
|
|
风扇模块指示灯 |
l 熄灭：设备未上电。 l 绿色（常亮）：表示风扇正常运作。 l 红色（闪烁）：表示风扇存在告警。 |
该设备后面板组件如图6-7所示。
|
1 |
Riser模组1 |
2 |
灵活IO卡A（选配） |
|
3 |
Riser模组2 |
4 |
电源模块 |
|
5 |
灵活IO卡B |
- |
- |
l Riser模组1（支持全高标卡）和Riser模组2（支持半高标卡）支持的标卡类型会有差异，本图仅供参考，具体以实际配置为准。
l 灵活IO卡A配置4*25GE/10GE网卡。本图仅供参考，具体以实际配置为准。
l 灵活IO卡B配置2*100G网卡。本图仅供参考，具体以实际配置为准。
灵活IO卡A和灵活IO卡B不支持热插拔，如果需要更换，请将设备下电。
图6-8 后面板接口示意图
|
1 |
灵活IO卡A接口（选配） |
2 |
Mgmt管理网口 |
|
3 |
调试串口 |
4 |
VGA接口 |
|
5 |
USB 3.0接口 |
6 |
板载网口 |
|
7 |
电源模块接口 |
8/9/10/11 |
灵活IO卡B接口 |
表6-3 后面板接口说明
|
名称 |
类型 |
数量 |
说明 |
|
VGA接口 |
DB15 |
1 |
用于连接显示终端，例如显示器或物理KVM。 说明 同时连接前面板和后面板的VGA接口时，会优先使用前面板的VGA接口。 |
|
USB接口 |
USB 3.0 |
2 |
提供外出USB接口，通过该接口可以接入USB设备。 说明 使用外接USB设备时请确认USB设备状态良好，否则可能导致设备工作异常。 |
|
Mgmt管理网口 |
RJ45 |
1 |
提供外出1000Mbps以太网口，支持自适应10/100/1000M。通过该接口可以对本设备进行管理。 |
|
调试串口 |
RJ45 |
1 |
默认为系统串口，可通过命令行设置为HDM-ST串口。主要用于调试。 |
|
板载网口 |
RJ45 |
4 |
板载网口提供4个GE电口。 |
|
灵活IO卡A接口（选配） |
25GE/10GE光口（SFP28） |
4 |
灵活IO卡A可提供4个25GE/10GE光口。 说明 25GE光口可支持速率自适应到10GE。通过不同速率的光模块实现。 |
|
灵活IO卡B接口 |
100GE光口（QSFP28） |
2/8 |
每张灵活IO卡可提供2个100GE光口，4张灵活IO卡最多可提供8个100GE光口。 说明 l 100GE光口可支持100G光模块/100G AOC/100G DAC电缆，具体型号请联系技术支持。 l 每张灵活IO卡的2个100GE光口均来自不同NPU，不推荐做网口绑定，绑定会导致性能下降。 |
|
电源模块接口 |
- |
4 |
用户可根据自己实际需求选配电源数量，但是务必确保电源的额定功率大于整机额定功率。为了保证设备运行的可靠性，推荐配置4个电源模块。 当采用2个电源供电时，在HDM-ST Web界面中“系统管理 > 电源&功率 > 电源信息 > 电源设置”将不能设置为“主备供电”。 |
该设备后面板组件如图6-9所示。
|
1 |
Riser模组1 |
2 |
灵活IO卡A（选配） |
|
3 |
Riser模组2 |
4 |
电源模块 |
|
5 |
灵活IO卡B |
- |
- |
l Riser模组1（支持全高标卡）和Riser模组2（支持半高标卡）支持的标卡类型会有差异，本图仅供参考，具体以实际配置为准。
l 灵活IO卡A可选配4*25GE/10GE网卡，灵活IO卡B配置2*100G网卡。本图仅供参考，具体以实际配置为准。
灵活IO卡A和灵活IO卡B不支持热插拔，如果需要更换，请将设备下电。
图6-10 后面板接口示意图
|
1 |
灵活IO卡A接口（选配） |
2 |
Mgmt管理网口 |
|
3 |
调试串口 |
4 |
VGA接口 |
|
5 |
USB 3.0接口 |
6 |
板载网口 |
|
7 |
电源模块接口 |
8/9 |
灵活IO卡B接口 |
表6-4 后面板接口说明
|
名称 |
类型 |
数量 |
说明 |
|
VGA接口 |
DB15 |
1 |
用于连接显示终端，例如显示器或物理KVM。 说明 同时连接前面板和后面板的VGA接口时，会优先使用前面板的VGA接口。 |
|
USB接口 |
USB 3.0 |
2 |
提供外出USB接口，通过该接口可以接入USB设备。 说明 使用外接USB设备时请确认USB设备状态良好，否则可能导致设备工作异常。 |
|
Mgmt管理网口 |
RJ45 |
1 |
提供外出1000Mbps以太网口，支持自适应10/100/1000M。通过该接口可以对本设备进行管理。 |
|
调试串口 |
RJ45 |
1 |
默认为系统串口，可通过命令行设置为HDM-ST串口。主要用于调试。 |
|
板载网口 |
RJ45 |
4 |
板载网口提供4个GE电口。 |
|
灵活IO卡A接口（选配） |
25GE/10GE光口（SFP28） |
4 |
灵活IO卡A可提供4个25GE/10GE光口。 说明 25GE光口可支持速率自适应到10GE。通过不同速率的光模块实现。 |
|
灵活IO卡B接口 |
100GE光口（QSFP28） |
2/4 |
每张灵活IO卡B可提供2个100GE光口，2张灵活IO卡B最多可提供4个100GE光口。 说明 l 100GE光口可支持100G光模块/100G AOC/100G DAC电缆，具体型号请联系技术支持。 l 每张灵活IO卡的2个100GE光口均来自不同NPU，不推荐做网口绑定，绑定会导致性能下降。 |
|
电源模块接口 |
- |
4 |
用户可根据自己实际需求选配电源数量，但是务必确保电源的额定功率大于整机额定功率。为了保证设备运行的可靠性，推荐配置4个电源模块。 当采用2个电源供电时，在HDM-ST Web界面中“系统管理 > 电源&功率 > 电源信息 > 电源设置”将不能设置为“主备供电”。 |
该设备后面板指示灯如图6-11所示。
|
1 |
光口速率指示灯 |
2 |
光口连接状态指示灯/数据传输状态指示灯 |
|
3 |
管理网口数据传输状态指示灯 |
4 |
管理网口连接状态指示灯 |
|
5 |
UID指示灯 |
6 |
GE电口数据传输状态指示灯 |
|
7 |
GE电口连接状态指示灯 |
8 |
电源模块指示灯 |
|
9 |
光口速率指示灯 |
10 |
光口连接状态指示灯/数据传输状态指示灯 |
表6-5 后面板指示灯说明
|
指示灯 |
状态说明 |
|
|
GE电口/管理网口 |
数据传输状态指示灯 |
l 黄色（闪烁）：表示有数据正在传输。 l 熄灭：表示无数据传输。 |
|
连接状态指示灯 |
l 绿色（常亮）：表示网络连接正常。 l 熄灭：表示网络未连接。 |
|
|
2*100GE光口 |
速率指示灯 |
l 绿色（常亮）：表示数据传输速率为100Gbit/s。 l 熄灭：表示网络未连接。 |
|
连接状态指示灯 |
l 绿色（常亮）：表示网络连接正常。 l 绿色（闪烁）：表示有数据正在传输。 l 熄灭：表示网络未连接。 |
|
|
4*25GE/10GE光口 |
速率指示灯 |
l 绿色（常亮）：表示数据传输速率为25Gbit/s。 l 黄色（常亮）：表示数据传输速率为10Gbit/s。 l 熄灭：表示网络未连接。 |
|
连接状态指示灯 |
l 绿色（常亮）：表示网络连接正常。 l 绿色（闪烁）：表示有数据正在传输。 l 熄灭：表示网络未连接。 |
|
|
UID指示灯 |
UID指示灯用于定位待操作的设备。 l 熄灭：设备未被定位。 l 蓝色闪烁（闪烁255秒）：设备被重点定位。 l 蓝色常亮：设备被定位。 说明 可通过手动按UID按钮或者HDM-ST命令远程控制使灯熄灭、点亮或闪烁。 |
|
|
电源模块指示灯 |
l 绿色（常亮）：表示输入和输出正常。 l 橙色（常亮）：表示输入正常，电源过温保护、电源输出过流/短路、输出过压、短路保护、器件失效（不包括所有的器件失效）等原因导致无输出。 l 绿色（1Hz/闪烁）： − 表示输入正常，设备为Standby状态。 − 表示输入过压或者欠压，具体故障请参考“HDM-ST 告警处理”。 l 绿色（4Hz/闪烁）：表示电源Firmware在线升级过程中。 l 熄灭：表示无电源输入。 |
|
该设备后面板指示灯如图6-12所示。
|
1 |
光口速率指示灯 |
2 |
光口连接状态指示灯/数据传输状态指示灯 |
|
3 |
管理网口数据传输状态指示灯 |
4 |
管理网口连接状态指示灯 |
|
5 |
UID指示灯 |
6 |
GE电口数据传输状态指示灯 |
|
7 |
GE电口连接状态指示灯 |
8 |
电源模块指示灯 |
|
9 |
光口速率指示灯 |
10 |
光口连接状态指示灯/数据传输状态指示灯 |
表6-6 后面板指示灯说明
|
指示灯 |
状态说明 |
|
|
GE电口/管理网口 |
数据传输状态指示灯 |
l 黄色（闪烁）：表示有数据正在传输。 l 熄灭：表示无数据传输。 |
|
连接状态指示灯 |
l 绿色（常亮）：表示网络连接正常。 l 熄灭：表示网络未连接。 |
|
|
2*100GE光口 |
速率指示灯 |
l 绿色（常亮）：表示数据传输速率为100Gbit/s。 l 熄灭：表示网络未连接。 |
|
连接状态指示灯 |
l 绿色（常亮）：表示网络连接正常。 l 绿色（闪烁）：表示有数据正在传输。 l 熄灭：表示网络未连接。 |
|
|
4*25GE/10GE光口 |
速率指示灯 |
l 绿色（常亮）：表示数据传输速率为25Gbit/s。 l 黄色（常亮）：表示数据传输速率为10Gbit/s。 l 熄灭：表示网络未连接。 |
|
连接状态指示灯 |
l 绿色（常亮）：表示网络连接正常。 l 绿色（闪烁）：表示有数据正在传输。 l 熄灭：表示网络未连接。 |
|
|
UID指示灯 |
UID指示灯用于定位待操作的设备。 l 熄灭：设备未被定位。 l 蓝色闪烁（闪烁255秒）：设备被重点定位。 l 蓝色常亮：设备被定位。 说明 可通过手动按UID按钮或者HDM-ST命令远程控制使灯熄灭、点亮或闪烁。 |
|
|
电源模块指示灯 |
l 绿色（常亮）：表示输入和输出正常。 l 橙色（常亮）：表示输入正常，电源过温保护、电源输出过流/短路、输出过压、短路保护、器件失效（不包括所有的器件失效）等原因导致无输出。 l 绿色（1Hz/闪烁）： − 表示输入正常，设备为Standby状态。 − 表示输入过压或者欠压，具体故障请参考“HDM-ST 告警处理”。 l 绿色（4Hz/闪烁）：表示电源Firmware在线升级过程中。 l 熄灭：表示无电源输入。 |
|
表6-7 硬盘配置
|
配置 |
最大前置硬盘数量（个） |
硬盘管理方式 |
|
2x2.5 SATA+3x2.5 NVMe硬盘配置[1] |
5 l 槽位0～1只支持SATA硬盘 l 槽位7～9只支持NVMe硬盘 |
l SATA硬盘：CPU直出SATA l NVMe硬盘：CPU直出PCIe |
|
2x2.5 SAS/SATA+3x2.5 NVMe硬盘配置[2] |
5 l 槽位0～1只支持SAS/SATA硬盘 l 槽位7～9只支持NVMe硬盘 |
1xRAID控制标卡 |
|
2x2.5 SAS/SATA+6x2.5 NVMe硬盘配置[3] |
8 l 槽位0～1只支持SAS/SATA硬盘 l 槽位2~3、6～9只支持NVMe硬盘 |
1xRAID控制标卡 |
|
2x2.5 SATA+6x2.5 NVMe硬盘配置[4] |
8 l 槽位0～1只支持SATA硬盘 l 槽位2~3、6～9只支持NVMe硬盘 |
l SATA硬盘：CPU直出SATA l NVMe硬盘：CPU直出PCIe |
|
2x2.5 SATA+8x2.5 SAS/SATA硬盘配置[5] |
10 l 槽位0～1只支持SATA硬盘 l 槽位2～9只支持SAS/SATA硬盘 |
l SATA硬盘：CPU直出SATA l SAS/SATA硬盘：1xRAID控制标卡 |
|
l [1]：0~1槽位不支持硬盘Fault指示灯；2~6槽位是空槽位，不支持硬盘。 l [2]：2~6槽位是空槽位，不支持硬盘。 l [3]：2~3，6~9槽位只支持x2的PCIe链路带宽；4~5槽位是空槽位，不支持硬盘。 l [4]：0~1槽位不支持硬盘Fault指示灯；2~3，6~9槽位只支持x2的PCIe链路带宽；4~5槽位是空槽位，不支持硬盘。 l [5]：0~1槽位不支持硬盘Fault指示灯。 |
||
支持如下多种硬盘配置，以实际发货为准。
l 5x2.5英寸硬盘的槽位编号如图6-13所示。
l 8x2.5英寸硬盘的槽位编号如图6-14所示。
l 10x2.5英寸硬盘的槽位编号如图6-15所示。
SAS/SATA硬盘指示灯
SAS/SATA硬盘指示灯如图6-16所示。
表6-8 SAS/SATA硬盘指示灯说明
|
硬盘Active指示灯（绿色指示灯） |
硬盘Fault指示灯（黄色指示灯） |
状态说明 |
|
常亮 |
熄灭 |
硬盘在位。 |
|
闪烁（4Hz） |
熄灭 |
硬盘处于正常读写状态或重构主盘状态。 |
|
常亮 |
闪烁（1Hz） |
硬盘被RAID卡定位。 |
|
闪烁（1Hz） |
闪烁（1Hz） |
硬盘处于重构从盘状态。 |
|
熄灭 |
常亮 |
RAID组中硬盘被拔出。 |
|
常亮 |
常亮 |
RAID组中硬盘故障。 |
NVMe硬盘指示灯
NVMe硬盘指示灯如图6-17所示。
表6-9 NVMe硬盘指示灯说明
|
硬盘Active指示灯（绿色指示灯） |
硬盘Fault指示灯（黄色指示灯） |
状态说明 |
|
熄灭 |
熄灭 |
NVMe硬盘不在位。 |
|
绿色常亮 |
熄灭 |
NVMe硬盘在位且无故障。 |
|
绿色闪烁（2Hz） |
熄灭 |
NVMe硬盘正在进行读写操作。 |
|
熄灭 |
黄色闪烁（2Hz） |
NVMe硬盘被OS定位或正处于热插过程中。 |
|
熄灭 |
黄色闪烁（0.5Hz） |
NVMe硬盘已完成热拔出流程，允许拔出。 |
|
绿色常亮/灭 |
黄色常亮 |
NVMe硬盘故障。 |
各级别RAID组的性能，需要的最少硬盘数量及硬盘利用率如表6-10所示。
|
RAID级别说明 |
可靠性 |
读性能 |
写性能 |
硬盘利用率 |
|
RAID 0 |
低 |
高 |
高 |
100% |
|
RAID 1 |
高 |
高 |
中 |
50% |
|
RAID 5 |
较高 |
高 |
中 |
（N-1）/N |
|
RAID 6 |
较高 |
高 |
中 |
（N-2）/N |
|
RAID 10 |
高 |
高 |
中 |
50% |
|
RAID 50 |
高 |
高 |
较高 |
（N-M）/N |
|
RAID 60 |
高 |
高 |
较高 |
(N-M*2)/N |
|
注：N为RAID组成员盘的个数，M为RAID组的子组数。 |
||||
设备支持的灵活IO卡的详细信息请联系技术支持。
灵活IO卡A
图6-18 TM280（4*25GE/10GE光口）
表6-11 灵活IO卡A指示灯说明
|
网卡类型 |
指示灯类型 |
状态 |
|
TM280 |
SPEED指示灯 |
l 绿色：最高速率25Gbps。 l 黄色：低速率10Gbps。 l 熄灭：链路断开。 |
|
LINK/ACT指示灯 |
l 绿色闪烁：1Hz，有数据传输；2Hz，网口被定位。 l 常亮：无数据传输。 l 熄灭：链路断开。 |
灵活IO卡B
图6-19 TM272（2*100GE光口）
表6-12 灵活IO卡B指示灯说明
|
网卡类型 |
指示灯类型 |
状态 |
|
TM272 |
SPEED指示灯 |
l 绿色（常亮）：表示数据传输速率为100Gbps。 l 熄灭：表示网络未连接。 |
|
LINK/ACT指示灯 |
l 绿色（常亮）：表示网络连接正常。 l 绿色（闪烁）：1Hz，表示有数据正在传输。 l 熄灭：表示网络未连接。 |
Riser模组
Riser模组1支持的Riser卡如图6-20所示，Riser模组2支持的Riser卡如图6-21所示。
l Riser卡1和Riser卡2必须在位，且Riser卡1的4个Slimline线缆需连接，否则NPU板不可用。
l Riser卡1仅支持Slot1和Slot2，Slot3对应Riser卡1的3个PCIe 4.0 x8的Slimline连接器。
l Riser卡2仅支持Slot4和Slot5，Slot6对应Riser卡2的3个PCIe 4.0 x8的Slimline连接器。
PCIe插槽
PCIe插槽分布如图6-22所示。
PCIe插槽说明如表6-13所示。
|
PCIe槽位 |
从属CPU |
PCIe标准 |
连接器宽度 |
总线宽度 |
BIOS中的端口号 |
ROOT PORT（B/D/F） |
Device（B/D/F） |
槽位大小 |
|
Slot1 |
CPU4 |
PCIe 4.0 |
x16 |
x8 lane |
Port76 |
C0/10/0 |
C3/00/0 |
全高全长 |
|
Slot2 |
CPU2 |
PCIe 4.0 |
x16 |
x8 lane |
Port36 |
40/10/0 |
43/00/0 |
全高半长 |
|
Slot4 |
CPU1 |
PCIe 4.0 |
x16 |
x8 lane |
NA |
NA |
NA |
半高半长 |
|
Slot5 |
CPU2 |
PCIe 4.0 |
x16 |
NA |
NA |
NA |
NA |
半高半长 |
|
说明 l 支持全高全长的PCIe插槽向下兼容全高半长或者半高半长的PCIe卡，支持全高半长的PCIe插槽向下兼容半高半长的PCIe卡。 l 总线带宽为PCIe x16的插槽向下兼容PCIe x8、PCIe x4、PCIe x2的PCIe卡，总线带宽为PCIe x8的插槽向下兼容PCIe x4、PCIe x2的PCIe卡。 l 所有槽位的供电能力都可以最大支持75W的PCIe卡，PCIe卡的功率取决于PCIe卡的型号。具体支持的PCIe卡请联系技术支持。 l B/D/F，即Bus/Device/Function Number。 l ROOT PORT（B/D/F）是CPU内部PCIe根节点的B/D/F，Device（B/D/F）是在OS系统下查看的板载或外插PCIe设备的B/D/F。 l 本表格中的B/D/F是默认取值，当PCIe卡不满配、PCIe卡满配但型号或所安装的槽位不同，以及配置了带PCI bridge的PCIe卡时，B/D/F可能会改变。 l Slot3和Slot6各支持3个PCIe 4.0 x8的Slimline连接器。三个Slimline连接器，其中两个共同组成PCIe 4.0 x16，另一个和CPU主板板载的一路PCIe 4.0 x8一起组成PCIe 4.0 x16，用于对接NPU板。 |
||||||||
Riser模组
Riser模组1支持的Riser卡如图6-23所示，Riser模组2支持的Riser卡如图6-24所示。
l Riser卡1和Riser卡2必须在位，且Riser卡1的4个Slimline线缆需连接，否则NPU板不可用。
l Riser卡1仅支持Slot1和Slot2，Slot3对应Riser卡1的3个PCIe 4.0 x8的Slimline连接器。
l Riser卡2仅支持Slot4和Slot5，Slot6对应Riser卡2的3个PCIe 4.0 x8的Slimline连接器。
PCIe插槽
PCIe插槽分布如图6-25所示。
PCIe插槽说明如表6-14所示。
|
PCIe槽位 |
从属CPU |
PCIe标准 |
连接器宽度 |
总线宽度 |
BIOS中的端口号 |
ROOT PORT（B/D/F） |
Device（B/D/F） |
槽位大小 |
|
Slot1 |
CPU4 |
PCIe 4.0 |
x16 |
x8 lane |
Port76 |
C0/10/0 |
C3/00/0 |
全高全长 |
|
Slot2 |
CPU2 |
PCIe 4.0 |
x16 |
x8 lane |
Port36 |
40/10/0 |
43/00/0 |
全高半长 |
|
Slot4 |
CPU1 |
PCIe 4.0 |
x16 |
x8 lane |
NA |
NA |
NA |
半高半长 |
|
Slot5 |
CPU2 |
PCIe 4.0 |
x16 |
NA |
NA |
NA |
NA |
半高半长 |
|
说明 l 支持全高全长的PCIe插槽向下兼容全高半长或者半高半长的PCIe卡，支持全高半长的PCIe插槽向下兼容半高半长的PCIe卡。 l 总线带宽为PCIe x16的插槽向下兼容PCIe x8、PCIe x4、PCIe x2的PCIe卡，总线带宽为PCIe x8的插槽向下兼容PCIe x4、PCIe x2的PCIe卡。 l 所有槽位的供电能力都可以最大支持75W的PCIe卡，PCIe卡的功率取决于PCIe卡的型号。具体支持的PCIe卡请联系技术支持。 l B/D/F，即Bus/Device/Function Number。 l ROOT PORT（B/D/F）是CPU内部PCIe根节点的B/D/F，Device（B/D/F）是在OS系统下查看的板载或外插PCIe设备的B/D/F。 l 本表格中的B/D/F是默认取值，当PCIe卡不满配、PCIe卡满配但型号或所安装的槽位不同，以及配置了带PCI bridge的PCIe卡时，B/D/F可能会改变。 l Slot3和Slot6各支持3个PCIe 4.0 x8的Slimline连接器。三个Slimline连接器，其中两个共同组成PCIe 4.0 x16，另一个和CPU主板板载的一路PCIe 4.0 x8一起组成PCIe 4.0 x16，用于对接NPU板。 |
||||||||
该设备支持可变的风扇速度。一般情况风扇以最低速度转动，如果入风口温度升高或者设备温度升高，风扇会提高速度来降温。
风扇位置示意图如图6-26所示，所配风扇数量以现场实际为准。
该设备提供32个DDR4 DIMM接口，每个处理器均提供8条内存通道，每条通道都支持1个DIMM。内存槽位编号如图6-27所示。
内存通道组成如表6-15所示。
|
通道所属的CPU |
通道 |
组成 |
|
CPU1 |
TB_A |
DIMM060(G) |
|
TB_B |
DIMM020(C) |
|
|
TB_C |
DIMM040(E) |
|
|
TB_D |
DIMM000(A) |
|
|
TA_A |
DIMM030(D) |
|
|
TA_B |
DIMM070(H) |
|
|
TA_C |
DIMM010(B) |
|
|
TA_D |
DIMM050(F) |
|
|
CPU2 |
TB_A |
DIMM160(G) |
|
TB_B |
DIMM120(C) |
|
|
TB_C |
DIMM140(E) |
|
|
TB_D |
DIMM100(A) |
|
|
TA_A |
DIMM130(D) |
|
|
TA_B |
DIMM170(H) |
|
|
TA_C |
DIMM110(B) |
|
|
TA_D |
DIMM150(F) |
|
|
CPU3 |
TB_A |
DIMM260(G) |
|
TB_B |
DIMM220(C) |
|
|
TB_C |
DIMM240(E) |
|
|
TB_D |
DIMM200(A) |
|
|
TA_A |
DIMM230(D) |
|
|
TA_B |
DIMM270(H) |
|
|
TA_C |
DIMM210(B) |
|
|
TA_D |
DIMM250(F) |
|
|
CPU4 |
TB_A |
DIMM360(G) |
|
TB_B |
DIMM320(C) |
|
|
TB_C |
DIMM340(E) |
|
|
TB_D |
DIMM300(A) |
|
|
TA_A |
DIMM330(D) |
|
|
TA_B |
DIMM370(H) |
|
|
TA_C |
DIMM310(B) |
|
|
TA_D |
DIMM350(F) |
CPU1对应的内存槽位上必须至少配置一根内存条。
当设备配置完全平衡的内存条时，可实现最佳的内存性能。不平衡配置会降低内存性能，因此不推荐使用。
不平衡的内存配置是指安装的内存不是均匀分布在内存通道和（或）处理器上。
l 通道不平衡：如果单个CPU配置5、7根内存条，则通道之间的内存配置不平衡。
l 处理器不平衡：如果在每个处理器上安装了不同数量的内存，则处理器之间的内存配置不平衡。
l 4路设备内存总数量建议配置为：4根、8根、12根、16根、24根、32根。
内存配置时必须遵守内存安装原则，未安装内存条的槽位，需要安装假模块。
该设备最多支持32个DIMM，每个处理器支持8个内存通道，每个通道最多支持1个DIMM。
表6-16 RDIMM内存配置规则
|
参数 |
RDIMM内存 |
|
|
Rank |
Dual rank |
|
|
额定速度（Mb/s） |
3200 |
|
|
额定电压（V） |
1.2 |
|
|
工作电压（V） |
1.2 |
|
|
整机最多支持的DIMM数量 |
32 |
|
|
单根最大DIMM容量（GB） |
64 |
|
|
整机最大内存容量（GB） |
2048 |
|
|
整机最大工作速度时的最高内存容量（GB） |
2048 |
|
|
最大工作速度（Mb/s） |
每通道1个DIMM |
3200 |
支持以下内存保护技术：
l ECC
l SEC/DED
l SDDC
l Patrol scrubbing
该设备提供多种PCIe扩展卡，您可以根据需要的扩展卡类型和速率选配。
l 以太网络扩展卡
l FC HBA扩展卡
l SSD扩展卡
具体的可选购系统选件请咨询当地销售代表。
部件的编码和兼容性请联系技术支持。
表7-1 AI处理器技术规格
|
组件 |
规格 |
|
AI算力a |
单颗AI处理器支持220TFLOPS、280TFLOPS算力规格。 说明 硬件设备配置的AI处理器支持选配以上规格中的一种，请以现场实际采购型号为准。 |
|
HBM |
l 容量为32GB。 l 带宽为1228GB/s。 |
|
虚拟化实例规格 |
支持通过虚拟化的方式将1路昇腾AI处理器切分成若干路虚拟NPU，每路虚拟NPU可支持16/8/4/2个AI Core，其他硬件资源（如内存）等比例切分。 |
|
a：稳定提供的峰值算力。 |
|
表7-2 服务器技术规格
|
组件 |
规格 |
|
形态 |
4U 训练服务器。 |
|
AI处理器 |
l 支持8路昇腾910 AI处理器，芯片支持直出100G RoCE网络接口 。 l 每一路AI处理器提供3条HCCS互连链路，提供最大90GB/s带宽能力。 l 每个NPU载板由4路AI处理器组成，通过HCCS组成一个4P Full mesh互联，4路AI处理器间互联带宽达到双向共60GB/s。 |
|
AI算力a |
0.88PFLOPS@FP16~2.24PFLOPS@FP16 |
|
CPU处理器 |
支持4路鲲鹏920处理器。 |
|
内存 |
l 最多32个DDR4内存插槽，支持RDIMM。 l 内存设计速率最大可达3200Mb/s。 l 内存保护支持ECC、SEC/DED、SDDC、Patrol scrubbing功能。 l 单根内存条容量支持16GB/32GB/64GB。 说明 同一台设备不允许混合使用不同规格（容量、位宽、rank、高度等）的内存。即一台服务器配置的多根内存条必须为相同Part No.（即P/N编码）。 |
|
存储 |
硬盘： l 详细硬盘配置请参见6.7.1 硬盘配置。 l 硬盘支持热插拔。 RAID控制标卡： l 支持多种型号的RAID控制标卡，详细信息请联系技术支持。 l 支持RAID级别迁移、磁盘漫游等功能，支持自诊断、Web远程设置。 |
|
10GE/25GE接口卡 |
主板最多支持1张灵活IO卡A，单张卡提供以下网络接口： 4个25G光口/10GE光口，支持PXE功能。 注意 25GE和10GE光口可通过使用不同的光模块来实现速率切换。 |
|
100GE接口卡 |
NPU板最多支持4张灵活IO卡B，单张卡提供以下网络接口： 2个100GE光口，可支持100G光纤或铜缆。 注意 l 支持100G铜缆时，NPU侧不支持自协商，需要对端设备也关闭自协商功能。 l 每张灵活IO卡的2个100GE光口均来自不同NPU，不推荐做网口绑定，绑定会导致性能下降。 |
|
PCIe扩展槽位 |
l 最多支持2个PCIe 4.0扩展插槽。 l Riser模组1支持以下PCIe规格： − 支持1个全高全长的PCIe4.0 x16标准槽位（信号为PCIe4.0 x8）。 − 支持1个全高半长的PCIe4.0 x16标准槽位（信号为PCIe4.0 x8）。 说明 设备支持的PCIe扩展卡具体型号，请联系技术支持。 |
|
端口 |
l 前面板提供2个USB 3.0端口、1个DB15 VGA端口。 l 后面板提供2个USB 3.0端口、1个DB15 VGA端口、1个RJ45串口、1个RJ45系统管理端口和4个RJ45板载网口。 |
|
风扇 |
l 8个风扇支持热插拔。 l 支持单风扇失效，N+1冗余备份。 说明 同一台设备必须配置相同Part No.（即P/N编码）的风扇模块。 |
|
系统管理 |
HDM-ST支持IPMI、SOL、KVM over IP以及虚拟媒体，提供1个10/100/1000Mbps的RJ45管理网口。 |
|
安全特性 |
l 管理员密码。 l TPM（国内/国外）/TCM（国内）。 l 安全面板（选配件）。 说明 安全面板安装在设备前面板上，为了防止未授权用户操作硬盘，安全面板上带有安全锁。 |
|
显卡 |
系统主板集成显示芯片，提供32MB显存，支持最高60Hz频率下16M色彩的最大分辨率是1920x1080像素。 说明 l 仅在安装了和操作系统版本对应的显卡驱动后才能支持最大分辨率1920x1080像素，否则只能支持操作系统默认分辨率。 l 前后VGA接口同时接显示器的时候，只有接前面板VGA接口的显示器会显示。 |
|
a：稳定提供的峰值算力。 |
|
表7-3 环境规格
|
指标项 |
说明 |
|
温度 |
l 工作温度：5℃～35℃（41°F～95°F）（符合ASHRAE CLASS A2） l 存储温度（3个月以内）：-30°C～+60°C（-22°F～+140°F） l 存储温度（6个月以内）：-15°C～+45°C（5°F～113°F） l 最大温度变化率：20℃（36°F）/小时、5℃（9°F）/15分钟 |
|
相对湿度（RH，非凝露） |
l 工作湿度：8%～90% l 存储湿度（72小时以内）：8%～95% l 存储湿度（6个月以内）：20%～75% l 最大湿度变化率：20%/小时 |
|
风量 |
650CFM |
|
海拔高度 |
工作海拔高度：≤3050m 说明 按照ASHRAE 2015标准： l 配置满足ASHRAE Class A1、A2时，海拔高度超过900m，工作温度按每升高300m降低1℃计算。 l 配置满足ASHRAE Class A3时，海拔高度超过900m，工作温度按每升高175m降低1℃计算。 l 配置满足ASHRAE Class A4时，海拔高度超过900m，工作温度按每升高125m降低1℃计算。 |
|
腐蚀性气体污染物 |
腐蚀产物厚度最大增长速率： l 铜测试片：300 Å/月（满足ANSI/ISA-71.04-2013定义的气体腐蚀等级G1） l 银测试片：200 Å/月 |
|
颗粒污染物 |
l 符合数据中心清洁标准ISO14664-1 Class8 l 机房无爆炸性、导电性、导磁性及腐蚀性尘埃 说明 建议聘请专业机构对机房的颗粒污染物进行监测。 |
|
噪音 |
在工作环境温度23℃，按照ISO7779（ECMA 74）测试、ISO9296（ECMA109）宣称，A计权声功率LWAd（declared A-Weighted sound power levels）和A计权声压LpAm（declared average bystander position A-Weighted sound pressure levels）如下： l 运行时： − LWAd：6.66Bels − LpAm：66.6dBA 说明 实际运行噪声会因不同配置、不同负载以及环境温度等因素而不同。 |
表7-4 物理规格
|
指标项 |
说明 |
|
尺寸（高×宽×深） |
175mm×447mm×790mm |
|
安装尺寸要求 |
可安装在满足IEC 297标准的通用机柜中： l 宽19英寸 l 深1000mm及以上 滑道的安装要求如下： l L型滑道：只适用默认配置的机柜 l 可伸缩滑道：机柜前后方孔条的距离范围为543.5mm～848.5mm l 抱轨：机柜前后方孔条的距离范围为610mm～914mm |
|
满配重量 |
l 净重：60kg l 包装材料重量：22.5kg |
|
能耗 |
不同配置（含ErP标准的配置）的能耗参数不同，详细信息请联系技术支持获取。 |
l 支持交流/直流电源模块。
l 电源模块支持热插拔，2+2冗余备份。
l 当使用2000W交流电源时，默认使能4KW功率封顶。客户可以根据前级配电能力综合评估是否接受3+1冗余备份，达成一致后，可以联系售后放开功率封顶门限。
l 当使用1800W直流电源时，只支持3+1冗余备份。
l 同一台设备中的电源模块型号必须相同。
l 设备连接的外部电源空气开关电流规格推荐如下：
− 交流电源：32A
− 直流电源：63A
l 电源模块提供短路保护，支持双火线输入的电源模块提供双极保险。
l 在110V的机房环境，必须使用双火线的方式接入电源模块，保障设备的供电。
l 详细的电源规格请联系技术支持。
H3C UniServer R5560 G5服务器集成了HDM-ST智能管理系统，HDM-ST智能管理系统是设备的远程管理系统。它兼容业界管理标准IPMI2.0规范，具有高可靠的硬件监控和管理功能。
HDM-ST智能管理系统的主要特性有：
l 支持键盘、鼠标、视频和文本控制台的重定向
l 支持远程虚拟媒体
l 支持智能平台管理接口（IPMI）
l 支持简单网络管理协议（SNMP）
l 支持通过Web浏览器登录
HDM-ST智能管理系统的主要规格如表9-1所示。
|
规格 |
描述 |
|
管理接口 |
支持多种管理接口，满足各种方式的系统集成，可与任何标准管理系统集成，支持的接口如下所示： l IPMIV2.0 l CLI l HTTPS l SNMP V3 |
|
故障检测 |
提供丰富的故障检测功能，精确定位硬件故障，可精确到FRU。 |
|
告警管理 |
支持告警管理及SNMP Trap、SMTP、syslog服务多种格式告警上报，保障设备7*24小时高可靠运行。 |
|
集成虚拟KVM |
提供方便的远程维护手段，在系统故障时也无需现场操作。最大支持1920*1200分辨率。 |
|
集成虚拟媒体 |
支持将本地媒体设备或镜像、文件夹虚拟为远程设备的媒体设备，简化操作系统安装的复杂度。虚拟光驱最大支持8MB/s。 |
|
基于Web的用户界面 |
支持可视化的图像界面，可以通过简单的界面点击快速完成设置和查询任务。 |
|
屏幕快照和屏幕录像 |
无需登录即可查看屏幕快照，让定时巡检变得如此简单。 |
|
DNS/目录服务 |
支持域管理和目录服务，大大简化设备的管理网络和配置复杂度。 |
|
软件双镜像备份 |
当前运行的软件完全崩溃时，可以从备份镜像启动。 |
|
设备资产管理 |
智能的资产管理，让资产盘点不再困难。 |
|
IPv4/IPv6 |
支持IPv4/IPv6双栈功能，方便构建全IPv4/IPv6环境，不用再为IP地址枯竭而烦恼。 |
|
序号 |
国家/地区 |
认证 |
标准 |
|
1 |
China |
航空运输鉴定 |
IATA DGR 61st, 2020 |
|
2 |
Europe |
CE |
Safety: EN 62368-1:2014+A11:2017 EN 60950-1:2006+A11:2009+A1:2010+A12:2011+A2:2013 EMC: EN 55022:2010 CISPR 22:2008 EN 55024:2010 CISPR 24:2010 ETSI EN 300 386 V1.6.1:2012 ETSI ES 201 468 V1.3.1:2005 EN 61000-3-2:2006+A1:2009+A2:2009 EN 61000-3-3:2008 EN 61000-6-2:2005 EN 61000-6-4:2007+A1:2011 RoHS: 2011/65/EU&(EU)2015/863(EU RoHS)& EN50581 REACH: Regulation (EC) No.1907/2006 (EU REACH) WEEE: 2012/19/EU (WEEE) |
|
3 |
Japan |
VCCI |
VCCI 32-1 |
|
4 |
- |
多国商检 |
参考产品认证证书 |
支持
