计算机工程与应用

作者：赵家富, 柳林, 王海龙, 牛天元, 刘静

单位：1.内蒙古师范大学 计算机科学技术学院，呼和浩特 010022；2.内蒙古师范大学 计算科学联合创新实验室，呼和浩特 010022；3.内蒙古大学 图书馆，呼和浩特 010021；

关键词：设备端大语言模型,模型压缩,轻量化框架,硬件加速

基金：国家自然科学基金（62566047）；内蒙古自治区自然科学基金（2023LHMS06006，2024LHMS06015）；基于机器学习的智能碳排放管理系统开发项目（20240043C）；人工智能+教育资源优化布局平台建设项目（3203002507）。

大语言模型技术的发展正在不断刷新自然语言处理和人工智能领域的性能边界。然而，基于云端部署的大模型在实际应用中面临响应延迟、隐私泄露、网络依赖和高资源消耗等多方位挑战。为此，设备端大语言模型逐渐成为当前研究的热点，这一研究致力于在资源受限的本地设备中实现大语言模型部署，从而提升系统的实时响应能力、隐私保护水平和能效比。以模型轻量化和系统级支持两个维度为视角，对设备端大语言模型的研究现状进行综述。总结了当前主流的模型压缩方法，包括量化、剪枝、知识蒸馏和低秩分解；介绍了面向设备端优化的模型结构设计思路，如混合专家模型、层级化结构等；总结了高效的推理引擎和轻量级框架、设备端专用的人工智能芯片以及内存优化等关键技术；探讨了设备端大语言模型的技术挑战与未来发展趋势。

来源：2026年第7期

《计算机工程与应用》期刊编辑部

查看计算机工程与应用杂志2026年第7期