计算机工程与应用

作者：马飞, 王元, 杨飞霞, 徐光宪

单位：1.辽宁工程技术大学 电子与信息工程学院，辽宁 葫芦岛 125105；2.辽宁工程技术大学 辽宁省无线射频大数据智能应用重点实验室，辽宁 葫芦岛 125105；3.辽宁工程技术大学 电气与控制工程学院，辽宁 葫芦岛 125105；

关键词：面部表情识别,参数高效化微调,多模态提示,预训练,零样本学习

基金：辽宁省教育科学“十四五”规划课题（JG24DB219）；辽宁省科技厅自然科学基金计划面上项目（2023-MS-314）；辽宁省教育厅高校科研业务经费项目（LJ242410147006）；辽宁工程技术大学GPU资源支持项目。

近年来，基于深度学习的面部表情识别方法取得了显著进展，然而现有方法对于未知类别泛化能力不足，无法对训练集以外的表情进行开放词汇识别。随着数据规模与模型规模的不断增长，多模态大模型的出现为开放词汇识别提供了新的可能。因此，在多模态预训练模型CLIP的基础上，提出一种微调高效化的面部表情识别算法MPT-FER。利用多模态提示对预训练好的CLIP进行微调，在推理阶段，针对未知类别的识别，通过计算图像特征与可能相关的文本描述之间的余弦相似度，判断所属类别进行分类。此外，在训练阶段，冻结预训练模型大部分固定参数，仅对多模态提示模块中的可训练参数进行微调，以提升训练效率。实验结果表明，在多个标准数据集上分别取得96.97%、68.33%和100.00%的准确率，并在Old-to-New和零样本测试中表现优异。保证良好性能的同时，所需训练参数量相较原始预训练模型CLIP训练参数量下降98.53%。

来源：2026年第7期

《计算机工程与应用》期刊编辑部

查看计算机工程与应用杂志2026年第7期