新华三公司新闻

  • 产品与解决方案
  • 行业解决方案
  • 服务
  • 支持
  • 合作伙伴
  • 关于我们

支撑千P级智算中心,新华三AI原生存储释放算存协同新势能

【发布时间:2026-03-13】

在当今科技变革的大潮中,人工智能(AI)与高性能计算(HPC)的界限正变得前所未有的模糊,科研机构与行业用户正步入一个“AI/HPC 深度融合”的新纪元。在这个时代,算力不再是单一的维度,而是规模、稳定性与可扩展性的综合竞赛。

descript

以国内某领先算力服务提供商的使用场景为例,其在全国部署算力规模超过1,000PFlops,存储资源超过800PB,接入服务器逾80,000台,有力支撑了上万家机构的科研创新。然而,随着AI大模型训练任务的爆炸式增长,数据存储的能力瓶颈逐渐成为算力释放中的关键。

HPC/AI混合负载下的技术挑战与架构演进

该算力中心承载的工作负载包括深度学习、工业仿真及气象模拟等,带有明显的混合负载任务特征,对存储系统的吞吐、时延与协议兼容性提出了近乎严苛的要求:一方面是传统的HPC仿真场景,如气象模拟、流体力学计算等,这类任务通常产生大文件的顺序读写,对存储系统的峰值带宽有着极高的要求;另一方面则是以高并发、随机I/O为特征的AI大模型训练场景,模型训练涉及海量小文件的密集读取与持续高频访问,尤其在Checkpoint阶段会产生瞬时的巨大写入压力。

descript

该算力服务提供商在实践中发现,传统的存储架构(如早期的Lustre架构)在面对这种混合业务场景时,逐渐暴露出技术诉求与现实能力的落差:

性能一致性难以维持:在GPU集群进行大规模分布式训练时,小文件的随机读写时延往往成为算力利用率的瓶颈,原有的存储架构难以在海量并发读写并存的情况下保持性能稳定。

多协议访问的隔阂:用户运行环境多样,涉及容器、虚拟化、裸金属等。这就要求存储必须兼容POSIX、NFS、SMB、S3、HDFS等多种协议,以消除数据孤岛,降低业务上云的复杂度。

扩展性与管理成本:当存储规模迈向PB级别,系统扩容必须对业务透明,且运维需要统一的管理平台来降低复杂度。

为了打破这些制约,该算力服务商意识到,智算中心的存储必须从“通用”走向“原生”,开启新一代架构的建设与演进。

新华三AI原生存储构建算存协同新范式

针对上述业务背景,该算力服务商与新华三展开了深度的技术对接与架构联合设计。最终,多套新华三X20000 AI原生存储正式入驻其多地智算中心,支撑其千P级算力进化。

为了应对AI训练中最苛刻的性能需求,方案部署了由19个X20828节点组成的全闪集群,从底层确保了I/O极致响应速度。网络层面采用了100G RoCE高速架构并实现了存储业务网、内部网与管理网的三网分离,利用RDMA协议让数据流转绕过CPU限制,将端到端时延压低至微秒级。不仅支持标准POSIX接口与配额管理,还完美兼容K8S CSI容器存储接口,确保算力节点在进行深度学习训练时,数据供应能够始终保持高吞吐与低延迟的稳定状态。

descript

同时,X20000A原生存储展现出的极强协议兼容性与高性价比扩展能力,为该算力服务商构建了数据流动的“立交桥”。系统不仅原生支持POSIX、S3、NFS、HDFS等多种协议,以无缝对接容器、虚拟化或裸金属等多样化运行环境,还通过24节点的混闪集群与8+2纠删码(EC)技术,实现了空间利用率达80%的海量存储池。结合多租户管理、自动化生命周期策略及对接Grafana的独立监控视图,该方案在保障工业级可靠性的同时,极大地优化了超大规模资源池的运维效率与存储成本,为算力服务商海量资源池提供了稳健的数据基石。

全链路加速,从数据准备到推理应用

当前,大模型业务流包括数据准备、模型训练与应用推理三个阶段,新华三X20000在每一个关键节点上都贡献了卓越的价值:

descript

阶段一:数据准备(Data Preparation

在这一阶段, CPU与GPU协同进行原始数据的采集、清洗、标注与脱敏。面对由于数据交易、采集产生的海量非结构化数据,X20000提供了“海量存储池”能力。其强大的元数据性能(文件创建、删除、查找)确保了在处理亿级规模的小文件时,数据准备流程依然高效。

阶段二:AI 大模型训练(Training

这是对存储性能要求最严苛的阶段。在预训练和微调过程中,系统需要频繁进行Checkpoint保存以防止训练中断。依靠X20000全闪集群提供的“极致性能AI存储”,不仅能满足大带宽的顺序读写,更能轻松应对高并发的随机I/O,显著缩短了训练周期,保障了业务连续性。

阶段三:应用推理(Inference

在模型部署与推理阶段,GPU/CPU需要加载训练好的模型并进行服务输出。X20000提供了稳定的模型读取带宽,配合100G RoCE网络,确保推理结果能实时、准确地输出给终端用户。无论是传媒行业的渲染,还是电商平台的智能推荐,都获得了飞跃式的性能提升。

联合创新,共筑可持续发展的智算产业新生态

该算力服务商与新华三的合作并未止步于设备交付,双方正通过联合实验室开启更深层次的技术共研。依托H3C UniStor X20000系列AI原生存储的卓越性能,双方深度聚焦AI大模型训练与HPC仿真等高负载场景,针对复杂I/O行为特征展开精细化建模研究。通过在国产化算力加速、全栈软硬协同优化等核心领域持续发力,双方致力于打通智算应用的“最后一公里”,共同驱动国产智算生态从底层重构向全场景应用成熟迈进。

展望未来,智算平台的建设正从传统的“硬件堆叠”走向平台化、体系化与智能化。作为智算基础设施的核心,AI原生存储架构的并发处理能力与线性扩展性将持续决定创新的上限。未来,新华三将继续深耕X20000系列分布式存储与AI数据管理领域,凭借其在高性能硬件架构及“数据驱动”维度的领先优势,为科研、制造、能源、气象等行业提供更高效、可靠、经济的智算底座。

新华三官网
联系我们