- 产品与解决方案
- 行业解决方案
- 服务
- 支持
- 合作伙伴
- 关于我们
随着大模型从技术探索迈向业务深水区，智能体（Agent）应用正以指数级速度消耗着Token。当AI真正嵌入企业核心业务流，Token调用量不再是实验室里的测试数据，而是直接转化为财务报表上持续且庞大的运营成本。在这一背景下，Token性价比已超越单纯的技术指标，成为企业决策层与基础设施供应商共同面对的核心命题。
在近期益企研究院举办的“智能体应用时代，如何评估与提升Token性价比”直播研讨中，新华三集团先进技术研究部总经理朱仕银指出，与一次性硬件采购截然不同，AI推理调用成本是一种贯穿业务全生命周期的长期性、运营性支出，且具有显著的规模相关性——业务体量越大、调用越密集，单位Token质量、成本上细微的优劣差异，都会被指数级放大为总成本的巨大鸿沟。真正的降本空间，不再来自“买更多卡”，而来自“把已有的卡用得更充分”。这一判断正反映出新华三的坚定使命：在硬件配置既定的前提下，帮助客户更高效地产出Token、提供最优性价比。这不仅是当下技术优化的主攻方向，更是智能体时代AI基础设施建设从“重资产建设”走向“重效率运营”的底层逻辑。
从“单价焦虑”到“全链路账本”
性价比为何成为核心命题
企业之所以越来越关注Token性价比，根源在于AI应用成本结构的地基变了。朱仕银提出，智能体等复杂应用规模化落地后，Token调用量指数级攀升，而与一次性的训练或硬件采购不同，推理调用是长期的、且随业务规模持续增长的支出。这意味着Token成本不再是“买断”，而是一笔需要长期精算的运营账。
值得注意的是，Token性价比在企业选型中的权重并非一成变。云端部署的成本结构以运营支出（OpEx）为主，企业更关注模型效果、安全与服务SLA等关键指标，Token性价比因此成为重要的选型因素；而在私有化部署场景，成本重心从“单次调用价格”转向总拥有成本（TCO），硬件采购折旧、机房建设、运维、电力与人力都会拉低Token性价比的权重。至于处于原型验证、小批量试用阶段的场景，Token性价比的权重还会进一步下降。这一分层判断，为不同场景下的成本决策提供了清晰坐标——脱离场景谈性价比，本身就是一种失焦。
算、网、存协同
打破GPU瓶颈的基础设施重构
既然降本要靠“用充分”而非“买更多”，那么效率究竟藏在哪里？在朱仕银看来，Token性价比的影响因素贯穿能源层、芯片层、基础设施层、模型层到应用层，任何一环的损耗都会层层传导至最终账单；而落到AI基础设施本身，核心变量正是“算、网、存”三大要素的深度协同。
这条协同链的本质瓶颈落在GPU上。围绕提升GPU利用率，新华三重点布局计算与网络协同、通信库优化、网络负载均衡等技术投入，以最大化通信带宽利用率、降低通信延迟。在存储层面，“以存换算”成为关键策略——通过高效的KV Cache机制，在减少计算量的同时达到相同甚至更好的产出效果。
从“无从下手”到“自动诊断”
调度、分析与运维的协同增效
基础设施搭好了，集群调优却长期面临“看不见、摸不着”的困境，这是横在性价比面前的又一道难题。朱仕银坦言，此前做大集群优化时往往无从下手——瓶颈究竟在算子还是在通信，难以定位。新华三集团为此自研开发自动化分析工具，能够对推理链路中的瓶颈自动抓取、自动分析，极大地缩短了性能调优周期。同时，通过缓存感知、Prefill与Decode的动态配比、算力资源池化与统一调度等技术，进一步实现性能的显著提升。
此外，集群的运维与管控是一个被普遍低估的领域：大规模集群中故障频繁发生，如何快速实现故障恢复、降低故障带来的算力损耗，同样需要软硬件一体的深度协同。当运维从后台支撑走向前台防线，“看不见的稳定”正成为性价比最隐蔽、也最关键的一环。
跑赢硬件周期
软硬件一体化方案寻求更大增量
当硬件红利随摩尔定律趋缓而日渐收窄，性价比的增量又从何而来？答案指向了软件。在大型集群部署中，一体化解决方案已成为行业共识：其核心目标是在满足业务质量SLA的前提下，提高整个集群的GPU利用率、减少无效Token，把硬件的有效产出逼到极致。这涉及芯片选型、基础设施优化、模型算法选择与业务层面优化的系统工程，其要义在于把大模型推理从底层硬件到上层调用的整条链路打包打通，在系统层面榨干每一分算力价值，让客户像“拎包入住”一样直接获得可用的Token产出能力，而不必自己在算力、引擎、调度、运维各环节逐一选型、集成与调优。
这里有两点尤为值得关注。一是模型选型不必“越大越好”——在特定场景引入Token消耗更小的小模型，性价比反而可能更高。二是推理引擎的选择与优化，已经成为当前性价比提升的重点与核心。“与硬件迭代相比，推理引擎的迭代速度更快、周期更短，如何通过软件上更好地发挥硬件性能，成为关键。”朱仕银表示。当摩尔定律趋缓，软件创新正成为提升Token性价比最活跃的变量。
跳出“单价陷阱”
部署决策与衡量标准的理性选择
技术之外，企业还要回答两道更朴素的选择题：怎么部署？以及怎么衡量？面对私有化部署与云端API的抉择，朱仕银给出了务实的判断框架：若企业Token消耗长期稳定、利用率平稳，且具备成熟的IT服务团队与推理优化能力，本地部署更具优势。政府、金融、央国企等关键行业因合规要求高、私有数据敏感，其决策考量就不止于Token成本，而是安全合规与政策因素。反之，规模较小、Token消耗波动大、需求突发非连续的企业，更适合云端租赁，可以省去硬件固定资产投入与运维团队搭建。对于短期AI项目，考虑到AI硬件普遍3-5年的折旧周期，难以摊薄成本，按需调用API显然更能控制总体投入。
而在衡量标准上，行业尚未形成统一的强制性标尺。目前最直观的指标就是“每百万Token价格”，但它只反映标价，却掩盖了模型效果、输出质量、幻觉率与响应延迟等关键维度——看似低价的服务，若频繁输出无效内容，其实际有效性价比反而更差。因此朱仕银表示，更严谨的方式应聚焦“有效Token性价比”，在计费单价基础上剔除幻觉、无效输出等损耗，还原真实业务下可用Token的成本。要进一步做行业的横向对比，则必须先对齐基线测试条件——固定模型版本、上下文长度、输入样本与SLA约束等，不能脱离质量单纯比价。
从算力到网络、存储，从智能云平台、到运维、安全，智能体时代的Token性价比，是一场贯穿全链路的效率革命。它不再是孤立的技术参数，而是决定企业AI战略能否持续落地的经济基石。当行业从“有没有算力”走向“算力用得值不值”，为智能体从“可用”迈向“好用、用得起”提供支撑，正是基础设施供应商在这场变革中的核心使命。
