H3C S12500AI系列交换机是H3C公司面向高端数据中心和AIGC智算场景,基于业界领先的DDC架构,推出的新一代高性能、高密度800GE/400GE/200GE的智算网络解决方案。S12500AI系列产品提供高密的800GE/400GE/200GE以太网端口,支持冗余可插拔电源和风扇。S12500AI可用于高密数据中心NCF和NCP组网,能够满足AIGC对数据中心网络的高性能、高速率的需求,单POD最大可支持超9216个400GE端口或4608个800GE端口组网规模。
H3C S12500AI系列以太网交换机包含三种类型的物理设备,NCC(Network Connectivity Controller,网络控制单元)、NCF(Network Connectivity Fabric,网络交换单元)和NCP(Network Connectivity Processor,网络业务单元)。其中:
1)NCC提供框式交换机的主控板功能,用于集中管理NCP、NCF,下发配置、收集日志信息、处理协议报文,生成管理控制平面和数据平面的软件表项,NCC在组网中作为可选部件。
2)NCF提供框式交换机的交换网板功能,如果报文的入接口和出口分布在不同的NCP,则需要通过NCF将入口NCP收到的报文转发给出口NCP。
3)NCP提供框式交换机的业务板功能,负责报文转发。NCP上的业务口用来连接内网和外网,是整个DDC架构对外输入、输出接口。
H3C S12500AI产品K系列各模块单元型号和端口形态如下:
网络控制单元 H3C 12500AI-6C-NCCA:支持2个25GE SFP28 IPC端口、6个100GE QSFP28 IPC端口
网络交换单元 H3C S12500AI-96B-NCFK:支持2个10GE SFP+ IPC端口、96个200GE QSFP56 SFI端口
网络业务单元 H3C S12500AI-18D48B-NCPK:支持2个10GE SFP+ IPC端口、48个200GE QSFP56 SFI端口、18个400GE QSFP-DD业务端口
网络业务单元 H3C S12500AI-36B48B-NCPK:支持2个10GE SFP+ IPC端口、48个200GE QSFP56 SFI端口、36个200GE QSFP56业务端口
H3C S12500AI产品N系列各模块单元型号和端口形态如下:
网络交换单元 H3C S12500AI-NCFN:分布式机箱NCF以太网交换路由器N类主机,最大支持128个800G OSFP SFI端口
网络业务单元 H3C S12500AI- 18EP20EP-NCPN: 20个800GE OSFP SFI端口、18个800GE OSFP业务端口
网络业务单元 H3C S12500AI- 36DH20EP-NCPN: 20个800GE OSFP SFI端口、36个400GE QSFP112业务端口
H3C S12500AI交换机支持高密度800GE/400GE/200GE端口,具备强大的转发能力,最大支持9216个400G端口或4608个800G端口组网规模。可满足超大数据中心和AIGC算力网络高密度服务器无收敛接入的组网需求。
S12500AI系列通过NCF-NCP架构,为数据中心网络提供了强大的弹性扩展能力,可以支持更大的网络规模需求。在NCF-NCP架构中,每个NCP网络处理单元连接到下层的服务器和存储资源,而NCF网络交换单元则作为强大的中枢,将各个NCP高效地连接在一起。随着数据中心对于处理能力和存储容量的需求不断增长,S12500AI系列基于DDC架构,可以轻松地添加更多的NCF或NCP,以线性方式扩大网络容量。这种模块化的拓展方法支持网络平滑扩容业务无感知,无需对现有架构进行大规模改造或中断服务。
S12500AI采用的DDC(Diversified Dynamic-Connectivity)多元动态连接技术是一种创新的网络架构设计,它打破传统的集中式机框交换机设计,采用分布式解耦的方法来提高数据中心网络的灵活性和可扩展性。通过将传统的大型网络交换机拆分为更小的、独立的模块化组件,即盒式交换机,实现了网络功能的分散部署。这些盒式交换机可以担任转发线卡或交换网板的角色,可以分散安装在多个机柜中,从而提供了更好的散热管理、功耗控制,并且克服了设备升级和空间扩展的局限。同时该架构方案可以更好解耦端侧设备(如网卡、GPU等)并保持高效吞吐和负载效率。
传统以太网组网中一般采用路由协议和ECMP结合的流量转发方式,这在一定程度上实现了流量的均衡转发。但由于流数多少、大小以及哈希极化等因素均可能影响Hash结果,例如转发大象流时,导致负载不均衡,进而影响性能。而且,传统的ECMP方式基于逐跳路由转发,不能很好地感知转发路径可用带宽情况,在转发路径存在拥塞时,容易发生丢包。
S12500AI系列基于DDC架构,采用Cell交换方式,通过把报文切分成大小一致的Cell单元,并将它们逐一转发,以此实现跨NCP的流量的绝对均衡转发,极大提高了转发效率。同时,DDC架构还可以实现基于VOQ(Virtual Output Queuing,虚拟输出队列)机制的路径感知,NCP在转发数据包前提前获知路径带宽是否可用,只在所有可用的路径上进行负载均衡,实现无阻塞均衡交换。
传统ECMP方式,链路拥塞时容易发生丢包(左图)与DDC信元交换机制,提前感知路径带宽,无阻塞均衡转发(右图)
H3C S12500AI交换机采用业界主流的交换芯片,可以根据用户需求灵活定义转发逻辑,开发满足用户网络演进趋势的新特性,通软件升级提供新特性,支持网络演进需求。
H3C S12500AI系列交换机全面支持数据中心无损网络RoCE特性,支持RoCE特性包括 PFC、ECN、AI ECN,构建零丢包和低延时的无损网络。并且支持800G/400G/200G 无损Fabric的典型盒+盒组网,满足数据中心超大规模组网和低延时的需求。同时通过AI ECN动态调整各传输队列ECN门限值,满足队列流量实时变化对资源的不同需求从而全面提升数据转发效率,真正做到智能无损零丢包的低时延算力网络。
随着数据中心技术的快速发展,数据中心的规模迅速膨胀,数据中心的可靠性和可运维能力成为制约数据中心进一步扩展的瓶颈。H3C S12500AI系列交换机顺应数据中心的自动化运维的发展趋势,支持可视化功能,通过Telemetry、gRPC等协议支持报文数据(如:qos模块,dev模块,ipfw模块等)毫秒级别上送,交换机的实时资源信息、RDMA 统计信息、RDMA告警信息上送到数据中心运维平台,运维平台对这些实时数据进行分析,可以实现网络质量回溯,故障排查,风险预警,架构优化等功能,甚至可以自动调整网络配置,降低网络拥塞,从而使数据中心运维向自动化方向迈进成为可能。
设备级和链路级备份:S12500AI系列架构各单元模块一般配备2台或者多台,并通过多条链路相互连接。
在控制平面,S12500AI的K系列可使用MGT管理交换机组建控制平面,两台MGT管理交换机互为备份,增强控制平面的可靠性。所有的NCC、NCP、NCF与MGT管理交换机通过IPC接口建立全连接(FULL MESH),通过MGT管理交换机转发DDC内的控制报文。而在S12500AI的N系列中,采用全新的Open DDC架构解决方案,通过独立网元开放组网模式,无需传统DDC架构系统中的集中式网络控制单元,避免了单一网元管理带来网络集体故障风险。同时使用BGP作为统一控制协议,极大的降低了网络管理复杂度。在数据平面,NCP与NCF建立全连接(FULL MESH)转发数据报文。
支持us级链路故障收敛,实现网络设备自动感知、调节与诊断,提升自动化水平,保障网络高效稳定运行。
H3C S12500AI系列交换机支持L2(Layer 2)~L4(Layer 4)包过滤功能,提供基于源MAC地址、目的MAC地址、源IP地址、目的IP地址、TCP/UDP端口号、协议类型的流分类。提供灵活的队列调度算法,可以同时基于端口和队列进行设置,支持SP(Strict Priority)、WRR(Weighted Round Robin)、SP+WRR、WFQ、SP+WFQ五种模式。支持CAR(Committed Access Rate)功能,粒度最小达8Kbps。支持出、入两个方向的端口镜像,用于对指定端口上的报文进行监控,将端口上的数据包复制到监控端口,以进行网络检测和故障排除。
支持丰富的管理接口,例如Console/USB口/带外管理口等。
支持SNMPv1/v2/v3、iMC网管平台,提供CLI/TELNET/FTP管理,采用SSH2.0/SSL加密保障安全
支持标准Netconf接口,提供可编程配置管理方法,便于第三方软件开发。
支持sFlow功能,可以对报文进行精细化统计,支持SPAN/RSPAN/ERSPAN镜像和多个镜像观察端口,可以对网络流量进行分析以采取相应管理维护措施,使原本不可见的网络业务应用流量变得一目了然,可以为用户提供多种网流分析报表,帮助用户及时优化网络结构,调整资源部署。
支持Buffer和端口队列实时监控,实现运维可视化动态调整。
支持AAA/RADIUS认证,可与SDN平台联动实现实时用户管理及非法行为处置。
提供增强的ACL控制逻辑,支持大容量的入端口和出端口ACL。
H3C S12500AI系列交换机基于DDC架构实现了简化设计和解耦控制平面,重定义了网络建设和运营的经济模型,带来了绿色节能的同时提供了显著的成本优势。与传统的高性能单体交换机箱相比,其小规模、低成本的网元设备架构提供了一个更加经济和高效的网络解决方案。整机通过超短直通式散热风道设计可提高自身功耗利用率,节能环保。
S12500AI-6C-NCCA | S12500AI-18D48B-NCPK | S12500AI-36B48B-NCPK | S12500AI-96B-NCFK | S12500AI-18EP20EP-NCPN | S12500AI-36DH20EP-NCPN | S12500AI-NCFN | ||
外形尺寸(宽×深×高)(单位:mm) | 440×400×44 | 440×760×88.1 | 440×760×88.1 | 440×760×130.5 | 440×760×88.1 | 440×760×88.1 | 442×640×308.4 | |
满配重量(满配电源、风扇,不含包材) | ≤ 10kg | ≤ 25kg | ≤ 25kg | ≤ 25kg | ≤ 25kg | ≤ 25kg | ≤ 70kg | |
串行Console口(RJ45) | 1个 | 1个 | 1个 | 1个 | 1个 | 1个 | 1个 | |
带外管理以太网电口 | 1个电口 | 1个电口 | 1个电口 | 1个电口 | 1个电口 | 1个电口 | 1个电口 | |
带外管理以太网光口 | 1个千兆光口(HP-GE) | 1个千兆光口(HP-GE) | 1个千兆光口(HP-GE) | - | 2个万兆光口,1个千兆光口(HP-GE) | 2个万兆光口,1个千兆光口(HP-GE) | 4个万兆光口,1个千兆光口(HP-GE) | |
USB口 | 1个USB口(Type A) | 1个USB口(Type A) | 1个USB口(Type A) | 1个USB口(Type A) | 1个USB口(Type C) | 1个USB口(Type C) | 1个USB口(Type C) | |
1PPS/TOD时间同步接口 | 1个 | 1个 | 1个 | - | 1个 | 1个 | 1个 | |
SMB时钟接口 | 1个输入,1个输出 | 1个输入,1个输出 | 1个输入,1个输出 | - | 1个输入,1个输出 | 1个输入,1个输出 | 1个输入,1个输出 | |
10GE SFP+端口 | - | 2个(IPC接口) | 2个(IPC接口) | 2个(IPC接口) | - | - | - | |
25GE SFP28接口 | 2个(IPC接口) | - | - | - | 2个 | 2个 | - | |
100GE QSFP28端口 | 6个(IPC接口) | - | - | - | - | - | - | |
200GE QSFP56端口 | - | 48个(SFI接口) | 48个(SFI接口) 36个(业务接口) | 96个(SFI接口) | - | - | - | |
400GE QSFPDD端口 | - | 18个(业务接口) | - | - | - | - | - | |
400GE QSFP112端口 | - | - | - | - | - | 36个(业务接口) | - | |
800GE OSFP端口 | - | - | - | - | 20个(SFI接口) 18个(业务接口) | 20个(SFI接口) | 128个(SFI接口) | |
输入电压 | AC | 100V~240V | 100V~240V | 100V~240V | 100V~240V | 100V~240V | 100V~240V | 100V~240V |
HVDC | 180V~320V | 180V~320V | 180V~320V | 180V~320V | 180V~320V | 180V~320V | 180V~320V | |
电源模块 | 2 | 2 | 2 | 2 | 2 | 2 | 6 | |
风扇模块 | 4 | 4 | 4 | 4 | 4 | 4 | 12 | |
功耗(静态) | 74W | 260W | 258W | 318W | 322W | 322W | 680W | |
功耗(典型) | 120W | 433W | 434W | 497W | 660W | 694W | 1300W | |
工作环境温度 | 0℃~40℃ | |||||||
工作环境湿度(非凝露) | 5%~95% |
支持特性 | S12500AI K系列交换机 | S12500AI N系列交换机 |
交换容量 | 921Tbps | 4096Tbps |
包转发率 | 259Bpps | 1382Bpps |
转发模式 | Cell信元交换 | |
SDN控制器 | 支持ADDC | |
数据中心特性 | 支持RDMA无损网络RoCEv2 支持BUFFER可视化 支持PFC、ECN 支持智能识别流量模型,动态调节AI ECN门限 | |
可编程 | 支持NETCONF 支持openconfig 支持grpc 支持Python 支持Ansible自动化配置 | |
流量监控 | 支持sFlow 支持Telemetry 支持RoCE集群智能运维平台,支持gRPC高速数据主动上报,全网路径主动探测,实时监测网络健康状态 | |
ARP | 支持ARP、RARP、免费ARP 支持ARP anti-attack 支持ARP源抑制 支持ARP Detection功能 | |
IP路由 | 支持静态路由和默认路由 支持RIP、OSPF、BGP、ISIS等IPv4动态路由协议 支持RIPng、OSPFv3、BGP4+、ISISv6等IPv6动态路由协议 支持等价路由、策略路由 | |
IPv6特性 | 支持IPv6 ND(Neighbor Discovery) 支持ICMPv6、Telnetv6、SFTPv6、SNMPv6、VRRPv3 支持IPv6 Tunnel | |
QoS | 支持端口收发报文限速 支持ACL、CAR、优先级重新标记、队列 支持SP、WRR、WFQ、SP+WRR、SP+WFQ等多种队列调度 支持Layer 2~Layer 4包过滤功能 支持基于源MAC、目的MAC、源IP(IPv4/IPv6)地址、目的IP(IPv4/IPv6)地址、端口、协议的流分类 支持流量整形 支持WRED、尾丢弃等拥塞避免机制 | |
镜像 | 支持流量镜像 支持N:4端口镜像 支持本地和远程端口镜像ERSPAN | |
安全特性 | 支持用户分级管理和口令保护 支持防止DOS、ARP、ICMP等攻击 支持SSL | |
管理和维护 | 支持Telemetry可视化功能 支持零配置Auto-config和配置回滚 支持命令行接口(CLI)配置 支持通过Console、Telnet、SSH等配置方式 支持RMON (Remote Monitoring) 支持SNMP v1/v2c/v3 支持网管系统 支持Netconf和Python 支持系统日志和用户操作日志 支持分级告警 支持电源、风扇、温度告警功能 支持NTP网络时间协议 支持Jumbo Frame 9216字节 支持Ping、Tracert等调试信息输出 支持FTP、TFTP、USB等方式上传和下载文件 支持XModem协议加载升级(boot下支持) |
在数据中心网络中,DDC架构的数据面使用NCF-NCP拓扑,提供了一种高效、可扩展且弹性的网络架构。 NCF-NCP结构允许数据中心网络容易地通过“积木方式”进行水平扩展,以适应不断增长的流量需求。
如下图所示,在DDC NCF-NCP架构中,数据中心的网络由两个主要层次构成:NCF层和NCP层。NCF层包含了多个高性能的交换机(如NCF网络交换单元),它们主要负责提供大容量的交换能力,实现不同NCP交换机(NCP网络业务单元)之间的互联。NCP层由连接到服务器、存储和其他网络设备的交换机组成,并且与NCF层的交换机相连接,形成了一种无阻塞的网络设计,以支持高吞吐量和低延迟的数据传输
S12500AI交换机DDC架构 NCF-NCP典型组网图
S12500AI交换机采用了支持主流200G/400G/800G网卡封装的NCP端口,确保了高兼容性。通过DDC技术,实现了网络与GPU的解耦,优化了流量处理,在应对QP数较少的国产GPU时,通过信元交换机制避免了传统ECMP负载均衡技术所带来的网络拥塞风险,提高了整体网络的负载均衡效率,为GPU密集型计算环境提供了一种高效、稳定的组网方案。
S12500AI交换机异构智算网络典型组网图
设备名称 | 数量范围 | 备注 |
S12500AI-6C-NCCA | ≥2 | 可选 |
S12500AI-96B-NCFK | 依据组网规模 | 必选 |
S12500AI-36B48B-NCPK | 依据组网规模 | 必选 |
S12500AI-18D48B-NCPK | 依据组网规模 | 必选 |
S6805-54HF/ S6825-54HF(MGT) | 依据组网规模 | 必选,二选一 |
FAN-40B-1-C(风扇) | 4 | S12500AI-6C-NCCA必选 |
FAN-80B-1-D(风扇) | 4 | S12500AI-96B-NCFK、S12500AI-36B48B-NCPK、S12500AI-18D48B-NCPK必选 |
SW-A-PSR550-12A-B(电源) | 2 | S12500AI-6C-NCCA可选 |
SW-B-PSR550-12A-B(电源) | 2 | S12500AI-6C-NCCA可选 |
PSR2000-12A-S | 2 | S12500AI-96B-NCFK、S12500AI-36B48B-NCPK、S12500AI-18D48B-NCPK可选 |
PSR2000-12A-S-B | 2 | S12500AI-96B-NCFK、S12500AI-36B48B-NCPK、S12500AI-18D48B-NCPK可选 |
设备名称 | 数量范围 | 备注 |
S12500AI-NCFN | 依据组网规模 | 必选 |
LSXM1SUPNCFN1 | 2 | 必选 |
LSXM1CEP32NCFN1 | 4 | 必选 |
S12500AI-18EP20EP-NCPN | 依据组网规模 | NCPN二选一 |
S12500AI-36DH20EP-NCPN | 依据组网规模 | NCPN二选一 |
FAN-80B-1-D(风扇) | 4/12 | S12500AI-18EP20EP-NCPN与S12500AI-36DH20EP-NCPN 4个风扇,S12500AI-NCFN 12个风扇 |
PSR2000-12A-S(电源) | 6 | S12500AI-NCFN必选 |
PSR2700-12A-A(电源) | 2 | S12500AI-18EP20EP-NCPN与S12500AI-36DH20EP-NCPN必选 |
模块/电缆类型 | 模块/电缆名称 | 中心波长(单位:nm) | 模块接口连接器类型 | 接口线缆规格 | 最大传输距离 |
SFP+模块 | SFP-XG-SX-MM850-A | 850 | LC | 50/125µm多模光纤 | 300m |
SFP-XG-LX-SM1310-D | 1310 | LC | 9µm/125µm单模光纤 | 10km | |
SFP+电缆 | LSWM2STK | - | SFP+ | 10G SFP+电缆 | 1.2m |
LSWM3STK | 3m | ||||
LSTM1STK | 5m |
模块/电缆类型 | 模块/电缆名称 | 中心波长(单位:nm) | 模块接口连接器类型 | 接口线缆规格 | 最大传输距离 |
SFP28模块 | SFP-25G-SR-MM852 | 850 | LC | 50/125µm多模光纤 | 100m |
SFP28电缆 | SFP-25G-D-CAB-1m | - | SFP28 | 25G SFP28电缆 | 1m |
模块/电缆类型 | 模块/电缆名称 | 中心波长(单位:nm) | 模块接口连接器类型 | 接口线缆规格 | 最大传输距离 |
QSFP28光缆 | QSFP-100G-SR4-MM850 | 850 | MPO(PC端面,12芯) | 50/125µm多模光纤 | 100m |
QSFP-100G-PSM4-SM1310 | 1295~1325 | MPO(APC端面,12芯) | 9/125µm单模光纤 | 500m | |
QSFP-100G-LR4-WDM1300 | 四条通道: 1295 | LC | 10KM | ||
QSFP-100G-LR4-WDM1300 | 四条通道: | 2KM | |||
QSFP28光缆 | QSFP-100G-D-AOC-7M | - | QSFP28 | 100G QSFP28光缆 | 7M |
QSFP-100G-D-AOC-10M | 10M | ||||
QSFP-100G-D-AOC-20M | 20M |
模块/电缆类型 | 模块/电缆名称 | 中心波长(单位:nm) | 模块接口连接器类型 | 接口线缆规格 | 最大传输距离 |
QSFP56模块 | QSFP56-200G-SR4-MM850 | 850 | MPO12/UPC | 50/125µm多模光纤 | 100m |
QSFP56-200G-FR4-WDM1300 | 1300 | LC | 9/125µm单模光纤 | 2km | |
QSFP56电缆 | QSFP56-200G-D-DAC-1m | - | QSFP56接口 | 200G QSFP56电缆 | 1m |
QSFP56-200G-D-DAC-2m | - | QSFP56接口 | 200G QSFP56电缆 | 2m |
模块/电缆类型 | 模块/电缆名称 | 中心波长(单位:nm) | 模块接口连接器类型 | 接口线缆规格 | 最大传输距离 |
QSFP112模块 | QSFP112-400G-VR4-MM850 | 850 | MPO(APC端面,16芯) | 50/125µm多模光纤 | 50m |
QSFP112-400G-DR4-SM1310 | 1310 | MPO(APC端面,16芯) | 50/125µm多模光纤 | 500m | |
QSFP112-400G-FR4-WDM1300 | 1300 | LC | 9/125µm单模光纤 | 2km | |
QSFP112光缆 | QSFP112-400G-D-AOC-10m-SM | - | QSFP112 | 400G QSFP112光缆 | 10m |
QSFP112-400G-D-AOC-20m-SM | 20m | ||||
QSFP112-400G-D-AOC-30m-SM | 30m | ||||
QSFP112-400G-D-AOC-50m-SM | 50m |
模块/电缆类型 | 模块/电缆名称 | 中心波长(单位:nm) | 模块接口连接器类型 | 接口线缆规格 | 最大传输距离 |
OSFP800模块 | OSFP800-800G-VR8-MM850-MPO | 850 | MPO(APC端面,16芯) | 50/125µm多模光纤 | 50m |
OSFP800-800G-VR8-MM850-DMPO | 850 | MPO(APC端面,16芯) | 50/125µm多模光纤 | 50m | |
OSFP800-800G-DR8-SM1310-DMPO | 1310 | MPO(APC端面,16芯) | 50/125µm多模光纤 | 500m | |
OSFP800-800G-2FR4-WDM1300-DLC | 1300 | DLC | 9/125µm单模光纤 | 2km |