国科大、北方电子设备研究所联合提出首个多模态无人机跟踪数据集

该研究为基于机器视觉和多模态融合方法的反无人机前沿技术研究及应用落地提供了数据基础、基线方法和评价指标，推动领域进展。

机器之心发布，机器之心编辑部

近日，中国科学院大学视觉实验室和北方电子设备研究所的一项联合研究工作取得了新进展。该项研究致力于基于机器视觉与多模态互感技术实时监控无人机空间位置和运动轨迹等信息，并首次提出了「反无人机」这一研究课题，同时，为推动领域进展，还发布了首个 Anti-UAV 多模态数据集——研究人员使用多种目前市面上常见的商用小型无人机型，采集并标注了超过 300 段可见光 / 红外视频对（含超过 58 万个目标），涵盖白昼、黑夜条件下云层、楼宇、丛林等复杂背景及飞鸟、空飘物等虚假目标带来的挑战。

此外，研究人员还针对「反无人机」问题提出了一种有效的基线方法——复杂环境下多模态小目标跟踪 DFSC 算法，并与超过 40 种的 State-of-the-Art tracker 算法模型进行了测试对比，结果表明，所提出的 DFSC 算法在该问题上取得了目前最优的性能表现。

当前，学术界在无人机检测跟踪领域的研究尚属空白，还没有相关工作提出公开可用的高质量基准数据集、基线方法和评价指标，这项研究将极大推动未来无人机检测跟踪前沿技术的发展。

研究人员已将 Anti-UAV 数据集，以及基线方法和评价指标源代码开源。

论文链接：https://arxiv.org/abs/2101.08466
GitHub Repo：https://github.com/ucas-vg/Anti-UAV

研究背景

近年来，商用小型无人机（UAV）产业在国内外发展日益蓬勃，已经成为我国经济发展新的增长点。无人机开始在节日里的灯光表演、体育比赛的高清航拍、灾后救援等各个场合频繁亮相，应用范围越来越广泛，但也随之产生了一系列严重的安全管控问题：未经许可闯入公共及敏感区域、意外坠落、影响客机正常起降、碰撞高层建筑等事件不断发生。

2018 年 2 月 7 日，在唐山市古冶区范各庄一片空地上，唐某等四人操纵一架无人机升空进行地形图航空测绘。无人机起飞不久就被解放军空军雷达检测发现为不明空情，致使空军出动两架战斗机查证，空中飞行员目视发现为固定翼无人机。严重扰乱空中管理秩序、耗费大量人力物力的罪魁祸首，却是「黑飞」的无人机。如果能够在惊动战机之前对入侵无人机进行精准探测，就能够采取有效反制措施最大化降低损失。

近年来，国内外不断出现的无人机「黑飞」事件，不仅对公民的个人隐私与生命财产安全造成了严重危害，而且对机场、军事基地、大型集会现场、核电站、政府部门驻地等敏感区域的安防造成了极大威胁。因此，开展复杂环境下低慢小（无人机）目标智能感知的研究，从而对无人机进行有效的探测、监管和必要的反制，具有重要意义。

Anti-UAV 数据集

目标跟踪（object tracking）技术旨在基于实时动态视频流数据精准定位目标，已被广泛用于视频监控、海上救助、自动驾驶等领域。现有研究中，大多数跟踪器均基于可见光 RGB 信息，弱光条件下可能导致结果误判。其它部分研究虽然使用红外（IR）信息，但受制于低分辨率，信息不足。

为了推动无人机跟踪领域的发展前沿，国科大和北方电子设备研究所的研究人员首次考虑将可见光和红外信息进行深度融合，针对复杂环境下的无人机目标进行跟踪，并构建了首个无人机多模态跟踪数据集——Anti-UAV。