国内刊号:11-2127/TP
国际刊号:1002-8331
发布日期:
作者:侯良威, 刘刚, 习江涛
单位:1.河南科技大学 信息工程学院,河南 洛阳 471000;2.伍伦贡大学 计算机与通信学院,澳大利亚 伍伦贡 NSW 2522;
关键词:视觉目标跟踪,多层级特征聚合,时空关联,傅里叶变换,多层级跨轴注意力
基金:国家留学基金([2022]20)。
针对当前大多数高性能跟踪器忽略了浅层特征中的细节信息与时空线索的充分利用,导致跟踪性能提升受限的问题,提出了一种基于多层级特征聚合的时空关联视觉目标跟踪算法。该算法将时间令牌、参考帧和搜索帧组成的视频片段输入到Transformer编码器中来捕捉视频中的长距离全局上下文,并在编码器的不同层级提取出多层级时间令牌和搜索帧特征。针对多层级时间令牌,采用双向策略对不同层级特征进行聚合,引入结合傅里叶变换的可学习时间令牌,通过重点关注时间令牌从浅层到深层之间的多层级频率特性,抑制多层级聚合带来的噪声干扰并增强目标特征。针对搜索帧特征,利用多层级跨轴注意力机制来计算不同层级和轴向的注意力特征并进行融合,以获得更丰富的目标特征表示。利用自注意力将经过处理的多层级时间令牌和搜索帧特征进行聚合并送入预测头网络实现目标跟踪。提出的算法在GOT-10k数据集上重叠度为0.75时精度达到76.0%,在LaSOT、TrackingNet数据集上成功率分别达到73.4%和85.4%。相比于最新基线ODTrack和ARTrack,提出的算法达到了最佳的跟踪精度。理论分析和实验结果验证了提出的基于多层级特征聚合的时空关联策略在视觉目标跟踪上的有效性。
来源:2026年第7期
《计算机工程与应用》期刊编辑部