【目标跟踪综述及关键技术】
1.多目标跟踪任务介绍
定义
多目标跟踪旨在将视频序列中感兴趣的目标检测出来，并赋予每个目标单独的编号，在整个序列中形成目标的轨迹。
分类
online：算法在推理目标身份过程中，只能看见当前帧以及之前的帧（关联）
offline：算法在推理目标身份过程中，可以看见整个视频序列（最优化）
多目标跟踪VS检测
检测：给出图像中多个目标的类别与位置；
多目标跟踪：给出多个图像中多个目标的类别与位置，并与之前帧的轨迹进行数据关联
难点分析
1.目标模拟、遮挡造成的目标外观特征不稳定
2.相机运动等造成的外观特征与运动特征变化
3.各类别样本数量不均衡，分类器难以训练
4.目标尺寸小容易造成漏检
5.实时性要求
2.数据集与评价指标发展历程
多数被跟踪轨迹（Mostly Tracked trajectories，MT）
真实轨迹中在大于等于80%的帧中被正确追踪的数目。有时也用百分比表示，越大越好。
多数丢失轨迹（Mostly Lost trajectories，ML）
真实轨迹中在小于等于20%的帧中被正确追踪的数目。有时也用百分比表示，越小越好。
ID切换数（ID Switches，IDS）
ID错误切换的次数。越小越好
MOTA、MOTP、IDP（精度）、IDR（召回率）、IDF1（分数）
HOTA、DetA、AssA
3.主要流派介绍
online形式的MOT算法，按照是否同时单次进行检测与轨迹处理可分为检测后跟踪（tracking by detection，TBD）与联合检测跟踪（joint detection and tracking,JDT）两种结构。
检测后跟踪，研究重点在于：特征提取方式、匹配策略。
联合检测跟踪，研究重点在于：共享网络设计、匹配策略
改进kalman滤波：
算法1：OCSORT
主要思想：inactive的轨迹要恢复时，为这个轨迹建立一个虚拟轨迹，修正kalman的误差。
算法2：BoT-SORT
主要思想：提取两帧之间关键点建立仿射矩阵，将Kalman滤波预测结果映射到新坐标下。
改进外观特征提取网络：
算法3：QDTrack
主要思想：产生大量的region proposal，利用对比学习的方式在关键帧和相邻帧之前来学习实例之间的相似性。
算法4：FairMOT
主要思想：将外观学习与目标检测合为一体，通过使用anchor-free的方式缓解两任务不平衡的问题。
算法5：UTrack
主要思想：采用无监督学习训练特征提取网络，定义两种约束条件：1.强约束：同一帧的目标之间不可以相互匹配 2.弱约束：两帧之间有多个重复目标，因此一帧里的目标大概率在另一帧中找到匹配。
融合其他特征
（1）融合空间拓扑关系
算法6：GSM
主要思想：采用GNN加入拓扑关系，对每个顶点都构建一个有向图，顶点表示外观特征，边表示位置关系特征，随后计算两帧间的每个目标的图相似度来进行匹配。
算法7：SGT
主要思想：采用GNN加入拓扑关系，顶点代表检测，边代表两个检测之间的相似度（IoU、拓扑关系、外观三个维度衡量），把两个检测是否属于同一目标转变为分类问题。
算法8：STLC
主要思想：利用局部相关模块对目标和周围的环境进行拓扑关系的建模，这样在拥挤场景有效。具体的，建立每个空间位置和其上下文的密集联系，然后通过自监督学习显式进行约束。