计算机工程与应用

作者：薛维刚, 谭迎春, 施小刚, 程跃红, 张晋东, 李德生, 宁纪锋

单位：1.西北农林科技大学 信息工程学院，陕西 杨凌 712100；2.四川卧龙国家级自然保护区管理局，四川 汶川 623006；3.西华师范大学 西南野生动植物资源保护教育部重点实验室，四川 南充 637009；4.中国大熊猫保护研究中心，成都 610057；5.大熊猫国家林业和草原局重点实验室，成都 610057；

关键词：行为识别,多模态学习,藏酋猴,时间建模,图像视频特征融合

基金：国家林业和草原局重点项目（CGF2024001）。

在野外环境中，准确识别藏酋猴的行为对于保护濒危物种、维护生态平衡以及研究人类进化具有重要意义。然而，与人类行为识别方法的广泛研究相比，由于野生藏酋猴数据难以获取，目前大多数研究主要集中在实验室环境中，野外环境下的研究较少。基于ILA行为识别模型，结合藏酋猴行为特点，提出了一种用于藏酋猴行为识别的方法，通过增强时间信息建模能力、融合图像和视频特征以及充分利用文本模态信息，实现野外环境下藏酋猴的行为识别。由于藏酋猴的行为变化迅速，具有高度的动态特征，因此采用ATM（arithmetic temporal module），通过对视频帧特征进行基本算术运算捕捉时间线索，增强模型对时间信息建模的能力。由于藏酋猴的行为具有复杂性和相似性，且其行为发生的背景与行为本身有着密切关系，因此设计特征融合机制，有效整合帧级图像特征和视频全局特征，提升模型对视觉特征的表达能力。设计适当的文本提示模板，充分发挥文本模态信息的作用，有效利用大规模视觉-语言预训练模型的先验知识提高模型对视频内容的理解能力，从而进一步提高野外环境下藏酋猴行为识别的准确性和鲁棒性。在LoTE-Animal数据集的藏酋猴数据集上进行的实验结果表明，所提模型在ViT-B/16架构上的Top-1正确率上达到了80.00%，相较于标准ILA模型提高了10.20个百分点，并显著优于现有代表性的行为识别模型，同时消融实验验证了所提改进模块的有效性。所提方法为野外环境下藏酋猴的行为识别提供了一种有效的解决方案。

来源：2026年第5期

《计算机工程与应用》期刊编辑部

查看计算机工程与应用杂志2026年第5期