计算机工程与应用

作者：冯广, 周垣桦, 钟婷, 杨燕茹, 黄荣灿, 盘皓然, 林健忠, 周科栋

单位：1.广东工业大学 自动化学院，广州 510006；2.广东工业大学 计算机学院，广州 510006；

关键词：多模态情感分析,跨模态融合,交叉注意力,权值优化

基金：国家自然科学基金重点项目（62237001）；广东省哲学社会科学青年项目（GD23YJY08）。

多模态情感分析在智慧教育领域中发挥着关键作用，通过对课堂中产生的音视频流媒体数据进行实时分析，可以更精准地挖掘学生的情感状态。当前多模态情感分析中的编码方法普遍忽视了不同模态之间信息密度的差异以及模态特有信息之间的不兼容性，这在融合过程中可能引入噪声或导致信息冗余。为解决这一问题，提出了一种结合自适应特征加权与权值优化策略的多模态情感分析模型。在特征优化层，作为低级特征的音频与视频通过交叉注意力进行交互，从而提高信息密度，并通过自适应加权与权值优化策略对交互结果进行动态校正。在特征融合层，利用交叉注意力模块实现文本特征与音视频特征的有效融合，通过由特征加权过滤与权值优化约束实现的互补策略增强特征表征能力。在公开数据集MOSI和MOSEI上的实验结果表明，提出的模型在特征加权调优下显著提升了情感预测性能，在大多数评价指标上实现了较先进或具竞争力的表现。

来源：2026年第6期

《计算机工程与应用》期刊编辑部

查看计算机工程与应用杂志2026年第6期