计算机工程与应用

作者：董凯, 蔡国永, 邓天生, 王顺杰

单位：1.桂林电子科技大学 计算机与信息安全学院，广西 桂林 541004；2.桂林电子科技大学 广西可信软件重点实验室，广西 桂林 541004；

关键词：多模态会话情感分析,说话人感知,大语言模型（LLM）,双图融合

基金：国家自然科学基金（62366010）；广西自然科学基金（2024GXNSFAA010374）。

以往的多模态会话情感分析主要侧重于上下文信息建模，但在说话人性格特征的提取，不同说话人之间交互以及互补信息的传递上具有一定的局限性，同时在跨模态融合中未能充分捕获上下文情感线索。针对上述问题，提出了一种双图融合驱动下说话人感知增强的方法。通过跨模态注意力机制分层捕获模态内和模态间的上下文情感线索，设计提示模板结合大语言模型提取说话人的性格特征，构建多维度的说话人感知依赖图，包括同一说话人内部依赖图和不同说话人之间的交互依赖图，并与性格特征融合后，利用图注意力传递话语之间的依赖信息，通过交互模块实现不同感知依赖图之间的信息交换与融合，并引入交互损失以增强图间的敏感度。在两个公开的多模态数据集上进行广泛实验，实验结果充分证明了该方法的有效性。

来源：2026年第5期

《计算机工程与应用》期刊编辑部

查看计算机工程与应用杂志2026年第5期