计算机工程与应用

作者：王宁, 武芳宇, 赵宇轩, 张百灵, 庞超逸

单位：1.浙江理工大学 计算机科学与技术学院（人工智能学院），杭州 310018；2.西交利物浦大学 智能工程学院，江苏 苏州 215123；3.西交利物浦大学 人工智能与先进计算学院，江苏 苏州 215123；4.浙大宁波理工学院 计算机与数据工程学院，浙江 宁波 315100；

关键词：集成学习,多模态大语言模型,图文情感分析

基金：浙江省自然科学基金（LY23F020014）；苏州市科技计划项目（ZXL2023176）。

提出了一种融合集成学习与多模态大语言模型（multimodal large language models，MLLMs）的图文情感分析方法。针对图文情感分析中类别不平衡与跨模态情感不一致等关键挑战，设计了EMSAN（ensemble multimodal sentiment analysis network）框架。该框架采用主辅模型结构，将在完整数据集上训练的主模型与在平衡子集上优化的辅助模型相结合，实现对各情感类别的精准识别。在特征学习方面，EMSAN采用两阶段策略增强情感特征：利用多模态大语言模型生成高质量的图像描述，缩小视觉与文本模态间的语义差距；引入一致性对比学习机制，通过对比文本和视觉特征的差异，强化跨模态情感的一致性表达，获得更为精细的特征。通过在平衡和不平衡数据集上的学习，EMSAN在保持数据自然分布的同时，有效缓解了类别不平衡问题。多个公共基准数据集上的实验结果表明，提出的方法取得了显著的性能提升。

来源：2026年第3期

《计算机工程与应用》期刊编辑部

查看计算机工程与应用杂志2026年第3期