计算机工程与应用

作者：刘晓宇, 曾令仿

单位：之江实验室，杭州 311100；

关键词：大语言模型,检查点机制,优化技术,固定开销,动态检查点,恢复损失

基金：国家自然科学基金区域创新发展联合基金项目（U22A6001）；科技部国家重点研发计划“先进计算与新兴软件”重点专项项目（2022YFB4500405）；浙江省科学技术厅重大科创平台项目（2024SSYS0015）；浙江省“万人计划”科技创新领军人才项目（2021R52007）。

随着大语言模型在自然语言处理领域的广泛应用，检查点机制作为提升训练效率、减少计算开销和增强容错能力的关键技术，受到了越来越多的关注。系统研究了大语言模型中的检查点机制及其优化方法，回顾了大语言模型的基本架构和发展历程，分析了传统检查点机制的应用，并探讨了其在大语言模型训练中的特殊需求和实现方式。通过对典型训练框架的调研，总结了它们在检查点机制实现和优化中的关键特点与技术挑战，并对现有优化方法进行了分类讨论，主要包括降低固定开销、动态检查点和降低恢复损失三大方向。进一步，展望了大语言模型检查点机制未来的发展趋势，提出了基于预测性检查点、新型存储介质优化、分布式计算提升恢复效率以及异构计算架构优化等潜在的研究方向，这些研究方向为提升大规模模型的训练效率和可扩展性提供了新的技术思路。

来源：2026年第3期

《计算机工程与应用》期刊编辑部

查看计算机工程与应用杂志2026年第3期