问题:算力增长遭遇“边际递减”——瓶颈从芯片转向系统 当前——算力需求训练与推理两端同步攀升,一上是大模型训练对集群规模、并行效率提出更高要求,另一方面是面向用户的推理服务对时延、稳定性与成本更为敏感;该背景下,“上更多卡、堆更多机”虽能带来短期算力提升,但在万卡乃至更大规模集群中,系统瓶颈往往不在计算单元本身,而集中出现在互联通信、内存带宽、资源调度与软件适配等环节。实践反复表明:算力只是入场条件,决定性能上限的是整个平台能否把分散资源高效组织起来。 原因:互联、内存与软件成为关键制约,单点升级难以奏效 从硬件层看,芯片定制化与迭代能够提升峰值性能,但若芯片之间互联能力不足,集群通信将拖累整体效率。国际产业合作中,围绕专用加速芯片的长期投入,核心竞争点不仅是算力指标,更是芯片间互联体系,目标是让大规模芯片阵列实现高效协作,而非简单堆叠。 同时,高带宽内存等关键部件正在成为“隐形门槛”。当内存带宽跟不上计算速度,再高的峰值算力也会因数据供给不足而难以释放。这也是部分头部机构提前锁定长期算力资源的重要原因:并非只追求规模,更是为了在未来业务增长与模型迭代中保障训练与推理的持续供给能力,避免出现“有算力、无效率”的局面。 从网络层看,万卡集群需要把海量通信开销压缩到可控范围。多地智算中心的探索显示,端到端时延、带宽利用率以及全年可用性已成为衡量集群能力的核心指标。低时延网络不仅是“连通”,更是决定能否把分布式集群组织成“统一算力体”的关键基础设施。 从软件层看,硬件扩容之后的“最后一公里”往往由软件决定。算子级微优化、并行策略、编译与通信优化、作业调度等环节,直接影响单位算力产出。尤其在训练瓶颈从数据处理逐步转向算力与通信协同后,算法与调度的改进成为提升效率的重要抓手。通过减少跨机通信、优化注意力计算的分布式实现等方式,可在不增加硬件的情况下明显提高有效吞吐。 影响:从“买算力”转向“用好算力”,产业竞争维度正在重构 这一趋势正在重塑算力建设与产业竞争逻辑。对智算中心而言,竞争不再是“装机规模”单一指标,而是“可用、好用、稳定、低时延”的综合能力。高可用性要求推动运维体系、容错机制与调度策略升级;低时延目标倒逼城域、省域网络协同与跨域资源编排能力提升;训练与推理并重的需求结构,要求平台具备更灵活的资源切分和弹性供给能力。 对企业用户而言,效率提升意味着成本结构改变:同样的硬件投入,因网络与软件栈优化而带来更高的训练效率与更低的推理时延,将直接转化为产品体验与商业化能力。对地方发展而言,智算基础设施从“算力供给”走向“系统级能力供给”,有助于推动从单一资源招商转向生态型创新集聚,提升数字经济基础底座的韧性与持续性。 对策:以全栈协同为主线,打通芯片—网络—平台—算法链条 业内普遍形成共识:算力升级要走系统工程路径。 一是强化互联与存储能力,提升“可扩展性”。围绕芯片互联、内存带宽与整机架构进行协同设计,减少扩容后的通信与供数瓶颈,使集群规模扩大时性能损失可控。 二是推进低时延、高可靠网络体系建设。面向万卡集群,网络应从传统“传输通道”升级为“协同中枢”,以更低端到端时延、更高链路利用率和更强故障隔离能力,支撑大规模并行训练与高并发推理。 三是做强软件栈与调度体系。通过编译优化、算子融合、通信优化与作业调度改进,提升单位算力产出;通过动态感知调度与资源编排,减少等待与空转,提高整体利用率;同时推动训练与推理统一优化,避免“两套系统”带来的成本与效率损耗。 四是加强算法与工程协同。面向分布式计算特点,优化注意力等关键模块的通信开销与并行策略,在保证精度与功能的同时减少系统负担,形成“算法—系统”联动增益。 前景:从规模竞争走向效率竞争,“毫秒级体验”将成为新标尺 展望未来,算力建设将呈现三上趋势:其一,从“峰值算力”走向“有效算力”,单位能耗、单位成本的有效吞吐将成为核心指标;其二,从“中心化供给”走向“跨域协同”,城域、省域乃至更大范围的低时延调度将提升资源复用;其三,从“训练导向”走向“训练+推理”双轮驱动,更强调面向应用的稳定性、时延与弹性。随着软硬件协同持续深化,万卡集群向“一体化大计算机”演进将加速,生成式应用的响应速度与规模化服务能力有望深入提升。
算力是数字经济的核心生产力,其发展水平直接影响国家科技创新能力;当硬件性能逼近物理极限时,打破学科壁垒、构建全栈协同的创新生态将成为释放算力潜能的关键。这场技术竞赛既考验单点突破的能力,更检验系统集成的智慧,最终的胜者将是那些能够实现“芯片-网络-算法”高效协同的创新体系。