多目标跟踪是视频分析及监控领域中的基本问题之一，在视频目标分析、场景剖析、行为事件理解、交通管理及安全防控等应用中，多目标跟踪都是必须解决的关键课题。与单目标跟踪仅针对指定的单个目标框进行跟踪不同，多目标跟踪致力于对视频中的所有感兴趣目标进行自动提取，并通过时域关联，得到其运动轨迹信息。因此，多目标跟踪更适合处理包含大量目标的复杂场景。
图1：多目标跟踪致力于对视频中的所有感兴趣目标进行自动提取，并通过时域关联，得到其运动轨迹信息，因此更适合处理含有大量目标的复杂场景
然而，由于多目标在场景中的运动往往存在大量的相互遮挡与交互，给目标提取及关联带来了大量的干扰，因此多目标跟踪仍然面临巨大的困难和挑战。现有的研究大多只专注于改进多目标跟踪过程中的某一环节，缺少对多个环节的联合建模，因此，跟踪效果仍然有较大的局限性。此外，现有的大多数多目标跟踪方法复杂性较高，难以实现有效的实时处理。
近日，上海交通大学林巍峣副教授团队和中兴通讯的合作工作在多目标跟踪领域取得突破，在保证实时处理的情况下，大幅提升了跟踪效果，并在 MOT Challenge 测评中取得第一。
MOT Challenge 是国际多目标跟踪领域最权威的测评平台，由阿德莱德大学、苏黎世联邦理工学院以及达姆施塔特工业大学联合创办，旨在评测多行人对象在复杂场景下进行同时检测及跟踪的算法性能，迄今为止参加测评的机构多达 60 多支，包括海康威视、商汤科技、NEC 北美研究院、斯坦福大学、马克斯普朗克研究所、纽约州立大学、苏黎世联邦理工学院、悉尼大学、伦敦玛丽皇后大学等世界知名高校和研究所。
图2：上海交通大学和中兴通讯合作团队获得 MOT 16 Challenge 测评第一名。
MOT Challenge 主要包含 MOT 15， MOT 16，MOT 17 三个测评集。其中，MOT 17 主要测评多目标跟踪模块的性能，而 MOT 15 和 16 两个测评集允许对目标检测、特征提取及跟踪等多模块的综合效果进行测评，因此更有实战性和挑战性。本次，上海交通大学和中兴通讯参加的 MOT 16 Challenge 测评，包含 7 段视角、场景、及长度各异的复杂视频，不少视频含有高密集目标及显著遮挡，检测和跟踪的难度非常大。
上海交通大学和中兴通讯的联合研究团队设计出了一种基于超平面匹配的一体化多目标检测与跟踪算法。该方法将多目标跟踪过程中的目标检测、特征提取、关联跟踪等模块有机地融入一个整体的框架进行联合建模，并通过各模块间的信息反馈，有效地去除了跟踪过程中的噪声和干扰。同时，为了进一步有效建模多目标之间的相互关系，该方法进一步引入超平面来建模各个目标局部轨迹片段间的时空关系，并通过超平面匹配实现高精度的多目标跟踪。
与现有多目标跟踪算法普遍运行速度较慢不同，该算法采用了卷积信息共用技术对算法进行加速，仅利用一次卷积操作，就可实现目标检测、特征提取、及超平面构建等多个操作，可以实现实时的检测与跟踪。联合团队在中兴通讯人工智能平台 uSmartAI 上进行了测试验证，多目标跟踪的处理速度达到 20 帧/秒以上。此外，该方法在 MOT Challenge 上测评的跟踪准确度（Multiple Object Tracking Accuracy）达到了 71.3%，排名第一。
本次上海交通大学和中兴通讯联合研究团队在多目标跟踪方法上的突破，对于推动多目标分析的理论研究和实际应用，具有重要的意义。相关技术已用于中兴通讯的部分产品中，相关论文的技术细节，也将在稍后发表。
文章转自新智元公众号，原文链接
相关资源：多目标跟踪MOT16_Benchmark数据集下载链接