基于运动信息的无人机检测(极端情况无人机检测)

相信关注我们公众号的小伙伴们对无人机探测已经不陌生了，前面几期的文章介绍了一些常用的无人机探测方法和基于深度学习的无人机检测算法。我们的研究结果表明，基于视觉外观信息，即便是目前性能最好的一些深度学习算法也很难解决极端情况下的无人机检测这个难题。那么我们有没有其他方法来改善这个问题呢？

基于视觉外观信息的无人机检测

面临的问题

基于视觉外观信息的无人机检测主要不足在于以下几个方面。

1）极端天气情况下的检测能力不足。光学相机能够很准确地识别无人机的外观特征，但是在雨、雪、雾、夜等天气情况下就无能为力了。

2）对于小目标无人机的探测能力不足。无人机通常重量轻体积小，远距离时无人机在图像中的成像尺寸很小。现有的图像目标检测网络很难处理这种极小尺寸的目标，尤其是在背景比较复杂的时候。

3）对于快速运动无人机的探测能力不足。当无人机快速运动时，目标在图像中会产生运动模糊，导致基于目标外观特征的深度学习方法很难识别目标。

4）复杂背景下的无人机探测能力不足。当无人机位于树林、城市建筑等复杂背景时，无人机与背景的对比度下降，仅依靠外观信息很难发现目标。

小目标无人机[6]

复杂背景

无人机快速运动

极端天气情况图1. 基于视觉外观特征的无人机检测面临的挑战（向右滑动查看下一张图片）

综上，我们知道只依靠外观特征检测无人机在现实场景中依然会面临很多困难。不过，除了外观特征外，无人机区别于其他物体的另一个重要特征是运动模式。大多数情况下，无人机会在三维空间中运动，这种特殊的运动模式是无人机区别于其他物体的重要线索。

基于运动信息的无人探测

当无人机距离较远或者背景太复杂时，仅仅依靠单张图片人眼都很难识别出无人机。但是通过对比连续多帧图片，无人机的突然运动就很容易被识别出来。现有的基于运动信息的无人机检测可以分为基于静止相机的无人机检测和基于运动相机的无人机检测。

基于静止相机的无人机检测一般包括运动区域检测和目标分类两个步骤。[1,2]通过静止相机对空中进行观测，先使用背景消减和形态学操作得到运动目标区域，然后使用 CNN网络对目标进行分类的方法来检测无人机。 

图2. 基于静止相机的运动无人机检测流程[2]与静止相机相比，更具挑战的是在运动相机中检测无人机，因为相机可能面临大幅度和突然的运动，目标无人机的形状和视角也会有更多变化。Jing[3,4]等人提出了一个空对空无人机检测数据集，先使用光流和透视变换对相机运动进行估计，然后利用背景消减得到运动目标，接下来使用深度神经网络训练混合运动特征和外观特征的分类器，得到候选无人机目标。最后为了剔除候选无人机中的假阳性目标和减少漏检情况，作者使用了候选目标的时序运动特征和卡尔曼滤波跟踪。

图3. 基于运动相机的运动无人机检测流程[3]，时长00:50视频：基于运动相机的运动无人机检测[3]

类似的，Rozantsev[5]引入了一个更具挑战性的无人机和固定翼飞机数据集，作者先使用多尺度滑窗方法获得时空图片序列, 然后利用CNN回归器获得以目标为中心的稳像时空图片序列，最后使用CNN网络在每个时空序列上进行分类来检测无人机。更进一步，Ashraf[6]提出使用一种两阶段基于分割的方法来提取无人机的时空注意力信息。第一阶段，基于相互重叠的图片序列，作者使用金字塔池化在卷积特征图上获得详细的上下文信息，并引入注意力机制来优化目标位置。第二阶段，作者使用运动边界、目标跟踪、时空特征提取等方法确认检测结果和消除误检测。

上述方法在“空对空”无人机检测上取得了不错的效果，但存在计算量过大，难以实时运行等问题。此外，除了通过对图片序列或视频流进行复杂的处理来识别运动无人机，基于事件相机等新型传感器的运动目标检测也越来越流行[7]。这些新型传感器能够直接识别运动目标，也为我们的研究带来了很多新的思路。我们团队会在这些研究的基础上，继续推进相关领域的研究，以期未来能够在机载移动端实现更加鲁棒的无人机检测。

参考文献

[1] A. Schumann, L. Sommer, J. Klatte, T. Schuchert, and J. Beyerer, “Deepcross-domain flying object classification for robust uav detection,” in 2017 14th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS), 2017.

[2] U. Seidaliyeva, D. Akhmetov, L. Ilipbayeva, and E. T. Matson, “Real-time and accurate drone detection in a video with a static background,” Sensors, vol. 20, no. 14, p. 3856, 2020.

[3] Jing Li, Dong Hye Ye, Timothy Chung, Mathias Kolsch, Juan Wachs, and Charles A. Bouman, “Fast and Robust UAV to UAV Detection and Tracking from Video,” to appear in IEEE Transactions on Emerging Topics in Computing.

[4] Jing Li, Dong Hye Ye, Timothy Chung, Mathias Kolsch, Juan Wachs, Charles Bouman, “Multi-target detection and tracking from a single camera in Unmanned Aerial Vehicles (UAVs).” Intelligent Robots and Systems (IROS), 2016.

[5] A. Rozantsev, V. Lepetit, and P. V. Fua, “Detecting flying objects using a single moving camera,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 39, pp. 879–892, 2017.

[6] M.W.Ashraf, W.Sultani, and M.Shah, “Dogfight: Detecting drones from drones videos,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 7067–7076, 2021.

[7] Sanket, N.J., Singh, C.D., Parameshwara, C., Fermuller, C., Croon, G.D., & Aloimonos, Y. (2021). “EVPropNet: Detecting Drones By Finding Propellers For Mid-Air Landing And Following.” ArXiv, abs/2106.15045.
本文由西湖大学智能无人系统实验室博士生郭汉青原创，