- 产品与解决方案
- 行业解决方案
- 服务
- 支持
- 合作伙伴
- 关于我们
手册下载
H3C数据中心交换机绿色节能技术白皮书-6W100-整本手册.pdf (2.36 MB)
H3C数据中心交换机绿色节能技术白皮书
Copyright © 2024 新华三技术有限公司 版权所有，保留一切权利。
非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。
除新华三技术有限公司的商标外，本手册中出现的其它公司的商标、产品标识及商品名称，由各自权利人拥有。
本文中的内容为通用性技术信息，某些信息可能不适用于您所购买的产品。
近些年随着新基建和数字化转型的不断推进，数据中心得到了飞速发展。云计算等新一代信息技术推动数据中心成为未来社会发展的战略资源和基础设施。爆炸性的增长对数据中心提出了更多挑战。根据中国电子节能技术协会的数据，目前中国数据中心的耗电量已连续八年以超过12%的速度增长，大幅高于全社会用电增长水平。2020年，全国数据中心总耗电量突破2000亿千瓦时，达到了社会总用电量的2.7%，预计到2025年该比重将达到4.05%，高能耗问题成为未来数据中心发展的瓶颈。
为提升能源利用效率，一些绿色节能技术应运而生。绿色节能技术旨在取得最大化的能源利用率和最小化的环境影响。该技术是多维度和多层级的技术应用，包括降低功耗和提升散热效率等方面的一系列技术。
在国家“碳达峰、碳中和”的目标指导下，绿色、低碳发展成为数据中心高质量发展战略的重要组成部分，绿色节能技术将发挥着越来越重要的作用。本文介绍了一些目前H3C数据中心交换机实现的绿色节能技术，随着技术日新月异的发展，未来会有更多更高效的绿色节能的相关应用。
· 通过合理的设计降低总体能耗，从而达到节能减排、降低成本的目的。
· 区分忙闲时段，提高设备利用率，延长设备使用寿命。
· 支持AI智能散热调节，减少人工干预。
· 降低机房设计难度，方便、简洁、高效。
· 引领绿色低碳潮流，助力数字经济可持续发展。
EEE（Energy Efficient Ethernet，高效节能以太网）可以实现以太网接口在空闲时降低功耗、繁忙时自动恢复工作状态，从而实现节能的效果。EEE节能功能的相关标准是IEEE 802.3az EEE在2010年9月制定完成的。该标准让以太网在空闲状态时降低网络连接两端设备的能耗，正常数据传输时则恢复供电。
接口开启EEE功能后，如果在连续一段时间内接口状态始终为up且没有收发任何报文，则接口自动进入低功耗模式，此时接口的PHY（Physical Layer）芯片处于低功耗状态；当接口需要收发报文时，接口又自动恢复到正常工作模式，PHY芯片退出低功耗状态。两端接口的PHY（Physical Layer）芯片必须同时支持EEE功能，否则EEE功能不可用。
图1 EEE工作状态图
现有网络中存在一定数量的空闲端口资源，这些未开通业务、无业务流量的端口也处于激活状态，消耗了一定的能源。端口自动休眠也被称为down状态端口节能功能。端口在休眠状态下消耗的能源极少，从而可以达到节能的效果。
在设备上通过命令行开启本功能后，如果端口在连续一段时间（时间长度由芯片规格决定，不能通过命令行配置）内的状态始终为down，则系统会自动停止对该接口供电，端口自动进入节能模式；当端口状态变为up时，系统会自动恢复对该接口供电，端口自动进入正常模式。
降低芯片功耗最行之有效的方法之一是为芯片工艺升级。随着芯片的晶体管尺寸逐渐变小，泄露功耗（leakage power）在芯片整体功耗中所占的比重越来越大，因此降低泄露功耗对降低芯片功耗的作用越来越明显。影响泄露功耗的决定因素为晶体管栅长。栅长越小，泄露功耗越低。先进工艺芯片的晶体管栅长从28nm演进到16nm再到7nm，使芯片集成度大大提高的情况下，芯片泄漏功耗明显降低。
芯片整体功耗和电压呈正相关关系，降低电压可以降低功耗，但电压必须满足频率的需求。AVS（Adaptive Voltage Scaling，自适应电压调整）实现机制可以获取处理器性能（频率）需求，根据性能需求自动调整电压，从而在满足需求的情况下尽可能降低电压和芯片整体功耗。
光模块用于光信号的传输，在光信号接收和转换的过程中消耗了大量的电能。
H3C采用先进工艺的光模块芯片。光模块芯片从以下两个方面提升集成度，降低功耗。
· 采用晶体管栅长为16nm或7nm的DSP。DSP(Digital Signal Processor 数字信号处理器)为光模块的核心芯片，功耗占比较大。类似设备芯片的工艺原理，芯片晶体管栅长越小，功耗越低。
· DSP与Driver、TIA（Trans-impedance amplifier，跨阻放大器）集成。
Driver、TIA为光模块中的重要器件，Driver位于光模块发射组件，将电信号转换为对应的调制信号，驱动激光器发光。TIA位于光模块接收组件中的探测器前端，将光信号转换成电信号并将电信号初步放大。
此外，H3C也在测试无制冷EML（Electro-absorption Modulated Laser，电吸收调制激光器）芯片在光模块中的应用，未来可能通过采用无制冷EML芯片进一步降低光模块功耗。
EML为业界广泛使用的400G模块光器件，为光模块信号发射单元。EML通常需要配合TEC（Thermo-Electric Cooler，半导体制冷器）进行降温。但TEC会带来较大的功耗，无制冷EML即通过升级芯片工艺设计，避免使用TEC制冷，从而节省光模块功耗。
当光接口无数据收发时，处于待机状态的光模块也会造成能源浪费。
H3C支持设置光模块的工作模式。当光模块长时间不需要工作时，可将光模块切换到低功耗工作模式，节省能耗。低功耗模式下，光模块不能传输信号，如果有流量传输需求，需要手工将光模块调整到高功耗工作模式。
系统链路设计中，在满足链路信号质量的情况下，使用的器件越少，损耗越低。H3C通过选用低损耗PCB板材、PCB走线损耗精细化控制等手段，避免了使用lite-PHY芯片、retimer芯片，进一步降低了系统功耗。
电源模块支持设置多个冗余电源作为备份，来避免电源故障和电源过载。当电能消耗较大或主用电源故障时，冗余电源自动启动为设备供电。交换机支持根据电源负载情况，自动设置备用电源的工作模式为主备模式，关闭备用电源的输出，从而达到节能的目的。
80 PLUS是一项针对电源所做的规范，可保证电源在负载20%、50%、以及满载（100%）下的转化率大于80%。电源转化率即直流输出与交流输入的功率比值。该认证旨在提升电源的转化率和功率因数，从而降低能耗、节省电费支出，进而降低设备发热量、降低配套散热支出、提升设备的可靠性、减少维护成本。
图2 80 PLUS认证要求
我司提供满足80 PLUS白金认证的双路输入电源，该电源不仅具有转换效率高、节能环保的特点，也满足冗余热备份要求，具有高可靠性。
图3 满足80 PLUS能效认证的双路输入电源
散热制冷系统是数据中心的重要组成部分，也是能源消耗的主要来源之一。为了提升散热制冷系统的能效，新华三在器件、单板、设备等方面对散热系统进行了充分的设计：
· 模块器件级散热：芯片/模块散热，导热材料，散热器设计。
· 板级散热：优化板卡设计增加散热效率，散热器及风道设计。
· 设备级散热：风道、风扇框设计、液冷交换机。
随着集成电路等技术的高速发展，芯片等电子器件的性能大幅提升，而物理尺寸却越来越小，这就导致电子器件的功率密度大幅提升。为解决在运行过程中容易出现高温问题，新华三在设计模块时即充分考虑散热策略，例如在芯片表面增加散热片或导热材料。
· 针对高功率芯片的高性能低热阻的导热垫、相变材料、硅脂材料。导热材料主要是解决将芯片内部的高热量快速导出到散热器上的问题。H3C通过分析和实测导热硅脂、导热硅泥、相变导热材料和碳纳米导热材料等不同类型的导热材料，不断研究导热效果、生产可加工性，同时联合第三方专业机构开展实验研究其长期可靠性，建立了完备的高性能导热材料选用平台，能够为不同芯片的散热需求匹配合适的导热材料。
图4 芯片导热硅脂
· 针对高功率芯片的高性能热管、VC散热器。在风冷系统中，散热器设计是系统散热解决方案的核心关键。为了更好改善芯片散热，H3C联合专业散热器厂家定制开发并验证了热管散热器、VC（Vapor Chambers，均热板）散热器、虹吸散热器等高性能的散热器，并在业界率先推广了VC散热器的商用化。为了解决多芯片的散热均匀性，还创造性的使用了多芯片共用VC散热器的方案。
图5 VC散热器
· 针对高功率光模块的散热CAGE、散热片。以QSFP-DD光模块为例，单端口典型功耗12W-15W（未来长距光模块可能会升高至20W），相比100G单端口3.5W功耗高4倍左右，端口散热难度更高。H3C采用以下几种方式解决光模块的散热：
¡ 优化端口进风口面积：通过精细化设计端口位置面板的通风口形状和开孔间距增加端口进风有效面积。
¡ 改善光模块CAGE散热能力：CAGE增加合适的散热器，定制更高节距的双层CAGE来改善下层光模块的通风效果。
¡ 加强PCB对光模块的辅助散热能力。
图6 模块的散热CAGE
基于PWM（Pulse Width Modulation，脉冲宽度调制），设备可以自动根据主控、业务板、网板等位置的温度对风扇转速进行调整。当设备温度不超过风扇加速的最低值时，风扇转速非常低、噪音非常小，从而节省耗电量；当设备温度升高，风扇自动加速、加快散热。
PWM是利用微处理器的数字输出来对模拟电路进行控制的一种技术。在一定的频率下，PWM通过不同的占空比输出不同大小的电压，从而调整风扇的转速。如下是PWM的基本概念：
· 频率f：1秒内信号从高电平到低电平再回到高电平的次数，也就是说一秒钟PWM有多少个周期，单位Hz。例如频率为50Hz，即一秒钟就有50个PWM周期。
· 周期T：T=1/f，即信号从高电平到低电平再回到高电平所花费的时间，单位为秒。
· 脉宽时间：在一个脉冲周期内，高电平的持续时间。
· 占空比：在一个脉冲周期内，高电平持续时间占整个周期时间的比例，单位是百分比。例如，一个脉冲周期时间是10ms，脉宽时间是8ms，那么占空比是80%。
一个周期的时间长度如下图所示。
图7 脉宽周期示意图
通过PWM调整输出电压的占空比可以输出不同的模拟电压。如图8所示,假设高电平为5V、低电平为0V，在一定的频率下，调整占空比为50%就可以得到2.5V的输出模拟电压，调整占空比为75%即可得到3.75V的输出模拟电压，调整占空比为20%，即可得到1V的输出模拟电压。
图8 PWM输出的模拟电压示意图
所有的主控、业务板、网板上关键芯片均能读取结温，设备通过芯片结温来调整风扇电压的占空比、从而调节风扇转速。风扇调速曲线如下图所示，确定风扇转速占空比范围与风扇调速温度点范围即可，在调速范围内，设备温度和风扇电压的占空比形成线性关系。
图9 风扇调速曲线
当有用户对噪声或散热更关注时，如下两种方式可修改风扇的调速曲线。
· 修改Tlow的缺省值，而Thigh根据不同单板值保持不变或适当调整，达到降低风扇转速与噪音目的。T
图10 修改Tlow的缺省值
· 提供命令行改变Tlow与Thigh的值，以便灵活应对市场客户对设备噪声的要求，可设置的温度范围是0～100℃。如下图所示，通过命令行将Tlow与Thigh的值都加10，从而将风扇调速的范围从55～85℃修改为65～95℃。
图11 通过命令行修改Tlow与Thigh的值
对于设备上的多个风扇，可设置风扇的分区，例如风扇分区1对应slot 0～3槽位，分区2对应slot 4～6槽位。不同的分区根据各自分区的温度分别进行调速，从而实现各分区温度的精准控制，降低风扇运行能耗。
风扇AI智能调速利用设备本地的AI业务组件，按照一定的模型算法动态优化风扇转速。在保证设备正常温度的情况下，AI业务组件合理安排设备各个风扇的转速，从而实现更高的能源效率。
交换机设备通常使用PID算法来实现设备温度的控制。PID算法具有原理简单、易于实现、适用面广等优点，但是也具有调节精度不高等缺点。当设备温度信息发生变化时，PID算法需要一定的时间来进行调节风扇转速。
AI风扇智能调速使用使用启发式搜索算法集合作为核心算法，该算法会根据设备当前的状态计算出最节能的风扇转速。为了提升稳定性，系统在风扇初始状态和高温告警时会使用PID算法来调节风扇。
图12 AI智能调速功能实现示意图
如图12所示，风扇AI智能调速的过程如下：
(1) 设备启动后，先使用PID算法调整风扇转速至稳定状态，同时定期将如下信息发送给AI业务组件：
¡ 各个芯片、单板和业务模块的电压、电流数据，芯片和测温点温度。
¡ 所有风扇的转速和功耗数据。
¡ 电源输出功率数据。
(2) AI业务组件在收到上述信息后，将在保证设备温度正常的情况下，使用启发式搜索算法集合对当前各个风扇的转速不断进行实时修正，最终计算出最节能的转速并下发给设备。
(3) AI业务组件在收集到大量的设备运行数据之后，会自动训练DRL（Deep Reinforcement Learning，深度强化学习）模型，在设备温度、功耗等信息发生变化时，AI业务组件将根据DRL模型推理出实时风扇转速的最优值。当DRL模型存在时，AI业务组件每隔较长的一段时间会重新训练DRL模型，从而保证风扇的最优转速。
(4) 如果设备在运行过程中出现高温风险预警，AI业务组件会强制切换到PID算法来调节风扇转速。
通过上述过程，风扇AI智能调速可以实现更高效节能的风扇转速控制。
风冷是电子设备最常见的散热方式之一。在风冷散热系统中，风道设计决定着冷却效果的好坏。优秀的风道设计不仅可以节省数据中心交换机能耗，也可降低设备故障率。
为提升散热效率，设备的各个单板上需要有清晰的、方便空气流动的风道。在设计风道时，各个元器件的发热量，以及大小、位置等因素都是开发者需要考虑到的重要因素。
例如，某块单板上都多个dimm内存条，则需要把内存条放置的方向和风向平行，这样才能让dimm条充分暴露在冷风中，同时也不会阻挡位于下风处的器件。
为了承载更高的信号速率、实现更高的吞吐能力，同时解决传统背板架构在尺寸、复杂度、可扩展性、散热等方面的难题，H3C推出了采用无背板的前后完全直通的OD（orthogonal direct，直接正交）系统方案，并创新的提高了业务板的槽位高度，增加了业务板的通风面积。直通的风道，更大的槽位高度，结合板内精细的疏堵结合的风道控制，给芯片散热带来了更大的通风量。
图13 框式交换机架构演进
和友商同类产品对比，该风道设计具有更高的散热效率。
图14 直通式风道示意图
作为信息化关键基础设施，数据中心在数字经济的蓬勃发展中有了更大的需求量。为了应对海量数据，芯片的处理能力和功耗密度在不断增加，与之对应的是数据中心单机柜功率密度的快速增加，以及随之而来的机柜散热需求。
图15 数据中心单机柜功率趋势
随着单机柜功率的增加，现有的风冷系统已逐渐不能满足机柜降温的需求。在现有风冷散热方案下，高机柜功率需要风扇转速更高、风扇直径更大、散热通道更大；随之而来的是，机房噪声级别也越来越高。这些都对机房的建造和维持提出更高的要求，导致建设、运行成本上升，提升空间巨大。
面对不断上涨的功耗需求，和不断增加的机房建设、运行成本，和愈发严格的能效约束，液冷技术逐渐成为数据中心降低PUE值的关键技术。
图16 风冷和液冷机房
液体的传热系数远大于空气，因此散热能力要远超风冷。液冷散热技术通过液体对流、换热，将电子器件产生的热量带走，从而降低器件的温度，防止高温条件下的电子器件失效或快速老化，让电子设备发挥出最佳性能。液冷散热对降低器件最高温度、提升元器件温度场的一致性有显著效果。
按照浸没形式，液冷技术可分为浸没式（直接液冷）、冷板式（间接液冷）和喷淋式液冷。根据冷却液的状态，浸没式液冷又分为单项液冷和相变液冷：
· 单相液冷：冷却液在循环散热过程中维持液体状态。
· 相变液冷：使用相变冷媒，冷媒在受热后气化，在机柜顶部凝结再流回机柜。
H3C提供单相浸没式液冷交换机，单台设备仅在散热方面就可节省功耗40W。
如下图所示，H3C单相液冷交换机具有如下特点：
· 2U机型设计，长度支持21、23inch设计。
· 接口全部置于前面板，支持高密度25G和100G端口。
· 前后面板增加蜂窝状开孔设计，满足液体由下向上散热要求，保证机箱内最大流量冷却液循环。
· 机箱两侧增加导轨、挂耳设计，方便设备安装。
· 无风扇设计。
图17 液冷交换机前视图
图18 液冷交换机后视图
交换机在端口、光模块、CPU，到单板、电源、风扇等方面使用多种节能技术来达到节能减排的目的，满足数据中心对绿色节能交换机设备的要求。
支持
