为了防御恶意的无人机，“成功检测”往往是第一步。实际上，我们还需要进一步确定目标在空间中的位置，并实时跟踪目标，以便后续的拒止动作（如网枪捕获）能够准确作用到恶意无人机上面，从而消除恶意无人机的威胁。那么，怎么样才能实现对恶意无人机的准确检测、定位和跟踪呢？

在最近的工作中，我们提出了一种能够实时检测、定位、跟踪未知无人机的全景视觉网络系统（见图1）。目前，相关的研究成果已经被国际知名期刊IEEE Transactions on Automation Science and Engineering接收，并申请了发明专利（已授权）。下面，我来分享一下该系统是如何基于相机网络实现对未知无人机的实时检测、定位及跟踪的。

图1 基于全景视觉网络的无人机检测、定位及跟踪系统

一．什么是全景视觉网络系统？

全景视觉网络系统由一个中心节点和大量感知节点组成，如图1所示，黄色框表示感知节点，蓝色框表示中心节点，红色框表示目标无人机。图2展示了感知节点的组成，可以看到，每个感知节点由4个相机组成，每个相机由4个镜头组成，所以，每个感知节点共有16个镜头。除此之外，感知节点中还包含了一些其它装置，如用于确定节点坐标系的RTK-GPS和IMU，用于与中心节点通信的路由器、用于处理数据的两台计算机（每台计算机处理4组双目数据）等。中心节点由计算机和路由器组成，用于接收并融合各感知节点获得的目标无人机的空间位置，然后给出最终的目标无人机数量以及它们各自的空间坐标。

在感知节点中，我们使用双目视觉定位技术估计节点与目标无人机之间的距离。感知节点中的16个镜头两两为一组，组成了8组双目，在图3中用相同的颜色表示一组双目。值得注意的是，由于双目镜头的配置，各个感知节点存在部分视野盲区，见图3中的红色区域。当目标进入视野盲区的时候，感知节点将无法准确定位目标无人机，但是由于系统中存在大量的感知节点，此时可以依靠周围的感知节点实现对目标无人机的准确定位。因此，各个感知节点具备360°全景检测和定位目标无人机的能力。相比于商业版的双目相机，我们的这套系统拥有更大的基线（1 m）,所以可以估计更远的目标距离。

图2 感知节点硬件平台

图3 感知节点中的双目镜头组合

二．系统是怎么工作的？

系统的工作流程包括视觉无人机检测、双目定位和空间轨迹跟踪，算法的流程见图4。算法的执行步骤如下：

1） 视觉无人机检测算法会实时检测相机视野中的恶意无人机；

2） 当双目镜头中的目标无人机同时被检测到后，利用特征匹配和立体几何的方法计算出物体的在相机坐标系下的坐标。结合节点的IMU和RTK-GPS，通过坐标转换就能够获得目标无人机的GPS坐标；

3） 基于轨迹的目标跟踪算法会利用该坐标进行参数的初始化，并一直跟踪目标的空间位置，从而获得一段时间内的轨迹。在中心节点中，通过轨迹相似度方法将多个感知节点估计的无人机的轨迹融合到一起，输出最终的无人机轨迹。

图4 系统流程图

在整套算法中，视觉无人机检测和双目定位部署在感知节点上，空间轨迹跟踪主要工作在中心节点上。整个系统的算法采用模块化设计，这样做的好处是便于替换同类性能更好的算法，以进一步提升系统的性能。

三、实验

为了验证系统的性能，我们做了两个实验：1个节点vs 1架无人机和2个节点vs 2架无人机。相关的实验视频如下：

小结

这项工作是第一个系统性实现360°全视角检测、定位和跟踪未知无人机的研究。在该工作中，无论是系统的硬件平台，还是算法框架，都采用了模块化设计，便于在实际应用中部署以及算法和平台的升级。

目前，我们团队还有许多有趣的研究正在进行中，更多分享，敬请期待。

本文提及的算法细节和硬件平台细节，请参见：Y. Zheng, C. Zheng, X. Zhang, F. Chen, Z. Chen, and S. Zhao*, "Detection, Localization, and Tracking of Multiple MAVs with Panoramic Stereo Camera Networks", IEEE Transactions on Automation Science and Engineering, accepted, May 2022.