欢迎user
当AI训练需要传输240TB的图像数据集,当科研机构需要跨地域共享14TB的实验数据,当影视制作团队面临数TB的高清素材分发,AI时代传统网络传输方案正遭遇前所未有的挑战。
紫光股份旗下新华三集团全新推出业界领先的“数据快递”高通量广域网络传输方案,通过协议优化、软件优化、软硬协同等不同架构方案,系统性解决传统TCP(Transmission Control Protocol,传输控制协议)在广域网高延迟、丢包环境下的传输性能瓶颈,在广域网环境下达到数据中心级传输效率,为科研数据交换、媒体内容分发、智算跨广域协同等场景提供了加速数据高效流动与价值释放的革命性方案。
智算大潮下的远距离数据传输困局:
依赖硬盘快递的物理运输窘境
在AI应用爆发的今天,数据量正以每年50%的速度呈指数级增长。跨地域的AI模型训练、科研协作数据共享、企业级云边数据交互等场景,对广域网数据传输提出了“TB 级数据分钟级可达”的严苛要求。
在智算广域网场景中,跨数据中心协同训练、敏感样本边传边训、模型实时分发等需求,尤其在广域传输网络结构复杂、延迟大、不稳定、误码率高等情况下,传统TCP协议的短板暴露无遗:高延迟导致的连接建立低效,丢包场景下的吞吐量骤降。
数据显示,即便在企业级光纤环境下,在千公里以上广域链路上传输TB级数据,传统TCP方案实际带宽利用率不足30%。“快递硬盘”成为不得已的替代方案,采用硬盘邮寄方式交换数据,不仅单次传输周期长达数天,严重制约业务进度,更面临数据泄露与物理损坏的直接风险。这种“数字时代物理运输”的窘境,暴露出传统网络传输体系与智算时代需求间的巨大鸿沟。
两大技术突破提供广域网卓越传输体验
如何在广域网环境下实现高效、安全、可靠的海量数据传输?新华三集团针对不同应用场景,提出“数据快递”高通量广域网络传输方案,包括基于QUIC(Quick UDP Internet Connections,快速 UDP 互联网连接)协议的Airarc软件方案以及Airarc软件与广域RDMA(Remote Direct Memory Access,远程直接内存访问)技术相结合的软硬件结合方案,通过基础协议、软件优化与软硬协同不同架构的解决方案,构建起智算时代的数据“高速智能快递系统”。
●跨平台软件加速器:基于QUIC协议的Airarc软件方案
QUIC协议作为网络传输的新一代协议,不仅融合了TCP、TLS和HTTP/2的优势,还通过创新的设计解决了这些传统协议的诸多问题。新华三数据快递方案基于QUIC协议构建传输层核心,以其更快的连接建立速度、改进的拥塞控制算法、多路复用减少阻塞、端到端加密内置提高安全性等多项创新特性破解传统协议顽疾。
作为纯软件加速核心,新华三集团打造基于QUIC协议的Airarc软件方案,实现一套传输软件适配多种传输协议,不仅实现跨平台兼容、硬件解耦,更在 QUIC 协议优势基础上进一步强化多流并发传输、灵活的拥塞控制算法,以及海量小文件批量分组高速传输等独特优势,为AI训练、科研数据等场景提供灵活高效的网络传输加速方案。
●端侧硬件卸载再提速:软硬件一体化广域RDMA方案
随着网络侧带宽的逐渐提升,当网络带宽足够大,端到端高吞吐传输的瓶颈逐渐转移到服务器端侧。数据快递方案创新性融合广域RDMA技术,结合Airarc软件提供软硬件一体化广域RDMA传输方案,相较于纯软件方案,进一步实现单流/多流传输效率的大幅提升。
方案基于RDMA网卡实现远程直接内存访问,有效降低CPU利用率,并针对广域场景采取适配广域网的BBR(瓶颈带宽与往返传播时间)拥塞控制算法和调度策略、选择性重传算法、多队列等进行优化,使RDMA技术在广域网有损条件下发挥数据中心级性能。
在这个数据即生产要素的时代,新华三数据快递方案不仅是一次技术升级,更是一场数据流动范式的革命:不仅解决了“传得慢”的问题,更构建起了“按需流动”的数据生态——让分布在全国各地的计算资源、存储资源、AI算力实现无缝协同,全链路赋能形成更加完整的业务支撑体系。
未来,新华三将持续优化技术架构,精研数据传输关键技术,推动AI高性能网络的技术创新与实践,为行业数字化转型提供源源不断的数据动能,为智算时代的创新突破铺设一条直达未来的“数据高铁”。