计算机工程与应用

作者：程艳, 房成兴, 文煜

单位：1.江西师范大学 软件学院，南昌 330022；2.江西师范大学 江西省智能信息处理与情感计算重点实验室，南昌 330022；3.江西师范大学 计算机信息工程学院，南昌 330022；

关键词：层次化信息增强,跨模态注意力机制,门控机制

基金：国家自然科学基金（62167006）；江西省科技创新基地——智能信息处理与情感计算江西省重点实验室项目（20242BCC32021）；江西省主要学科学术和技术带头人培养计划——领军人才项目（20213BCJL22047）；国家社会科学基金重点项目（20AXW009）；江西省自然科学基金（20212BAB202017）。

多模态情感分析旨在从文本、视觉和音频信息中识别人类情绪。以往的方法没有充分考虑利用文本特征增强视觉和音频模态中存在的情感信息，以及不同模态之间的相关性。针对上述问题，提出了一种基于文本层次化信息增强的多模态情感分析模型（multimodal sentiment analysis model based on text hierarchical information enhancement，THIE）。该模型使用Transformer提取具有重要语义信息的文本、视觉和音频模态特征；设计文本层次化信息增强模块，利用不同层次上的文本模态分别融合视觉和音频模态中的相关情感信息，从而达到增强情感的效果；提出基于跨模态注意力和门控机制的多模态融合模块，用于增强不同特征信息之间存在的相关性，提高重要特征的权重，抑制相对不重要的特征，从而减少冗余信息。在公共数据集CMU-MOSI、CMU-MOSEI和CH-SIMS上进行实验表明，与主流方法相比，该模型在性能上有所提高。

来源：2026年第5期

《计算机工程与应用》期刊编辑部

查看计算机工程与应用杂志2026年第5期