新型通用目标跟踪框架整体网络结构图

用视觉目标跟踪技术在自动驾驶、道路监控等诸多工业场景具备广阔应用前景。对于给定目标的初始状态，目标跟踪方法可以推理并预测该目标在后续视频流中的位置，从而确定其运动轨迹。

现有多数跟踪算法普遍采用模板匹配范式，依靠视频第一帧生成的目标模板，在后续帧中完成目标匹配定位，以此来寻找目标。这意味着对于许多场景的识别存在挑战，如目标形变和遮挡等，初始模板很难匹配当前的目标，从而导致跟踪失败。近期的跟踪器逐渐加入前几帧的时间信息，但仍旧存在丢失早期的时间信息问题。

针对上述问题，中国科学院沈阳自动化研究所光电信息技术研究室科研团队提出了一种新型的利用长期时间信息的跟踪框架LiMTrack。该框架将传统的Transformer主干与新颖的Mamba模型相结合，前者建模图像特征，后者传递长期时序信息，共同指导跟踪过程。

LiMTrack方法基于Mamba模型设计了LTIM模块，其本质是一个状态空间模型，接受来自每一帧的特征信息作为输入，与记录的历史隐藏状态融合并传递至下一帧，同时输出融合历史先验信息后的特征指导当前帧的跟踪。该模块逐帧传递每一帧的时间信息，使得从第一帧开始的长期上下文都能得到有效利用，解决了现有跟踪器长期时间信息利用不足的问题，可有效应对目标形变等挑战。

同时，LiMTrack设计穿插式建模主干网络，舍弃了传统时序跟踪器仅在主干末尾传递时间信息的思路，将LTIM模块插入主干网络的多个深度，传递不同深度的时间信息。不同深度的时间指导使得模型获得的目标特征更加充分、全面，进一步提升了跟踪性能。

科研团队在多个通用视觉目标跟踪基准上进行测试，包括GOT-10k、LaSOT和LaSOText等，结果表明，该方法相较于近期方法在多个基准上取得了领先水平。其中，在GOT-10k数据集上，平均重叠率（AO）达到76.0%。此外，在效率性能权衡比较中，相比于基于Transformer的时序建模方法，LiMTrack在参数量显著减少，跟踪速度提升30FPS的同时，跟踪精度也有一定提升。

该研究将建模图像特征的Vision Transfomer和建模时序特征的Mamba相结合，两者各司其职，发挥各自优势，为通用视觉目标跟踪方法利用长期时间信息提供了技术思路。

该成果以LiMTrack: Mamba-based long-term temporal information propagation for visual object tracking为题发表于国际期刊Knowledge-Based Systems(KBS)。第一作者为沈阳自动化所硕士研究生鲍一铭，刘云鹏研究员为通讯作者。（光电信息技术研究室）

论文链接：https://doi.org/10.1016/j.knosys.2026.116995

DOI:10.1016/j.knosys.2026.116995