无人机避障知环境中使用视觉特征（基于视觉的机器人自主导航）

无人机避障：在未知环境中使用视觉特征

在未知环境中基于视觉的机器人自主导航是一个趋势研究领域。然而，与地面飞行器相比，飞行器的任务变得更加复杂，基于它们对所有六个自由度（上/下、左/右、前/后、滚动、偏航和俯仰角）的控制。此外，由于其旋翼或外部因素（例如风）引起的UAV中的湍流可能会改变UAV的预期路径。提出了一种用于无人机的单目视觉辅助方法，可以在GPS拒绝环境中避开正面障碍物。无人机配备前置单目摄像头。从该相机提取的视频作为所提出的避障算法的输入，该算法首先估计正面障碍物与无人机当前位置的距离，然后生成必要的控制命令集以安全地避免碰撞。UAV的内部比例积分微分 (PID) 控制器负责使用修改后的控制命令（偏航、俯仰和滚动值的变化）。图1显示四旋翼无人机飞向正面障碍物。

图1 一架四旋翼无人机正向前方障碍物移动

提出的系统架构（如图2所示）由两个主要组件组成：无人机系统 (UAVS) 和计算机视觉系统 (CVS)。两个组件都通过无线局域网连接。无人机从前置摄像头逐帧提取视频，并将其传递给CVS 以测量深度。CVS基于来自多个帧的尺度不变关键点制定测量值，以估计当前位置的深度。CVS还负责生成下一个无障碍导航命令。根据命令，无人机的内部PID控制器修改偏航、滚动或俯仰值以安全地导航无人机。

图2 建议的系统架构有两个主要组件：无人机和CVS

数学模型基于无人机在直线路径上保持恒定速度且无任何偏差的假设。该模型的工作原理与针孔相机模型相同。如图3所示，在现实世界中，位于A点的障碍物高度为H。该无人机前方装有针孔摄像头，以恒定高度AO飞行。长度f是针孔相机的焦距，对于帧j和帧k，中心分别位于点O1和O2。点O、O1和O2位于一条直线上，该直线还指示无人机的路径，并垂直于前方障碍物。我们可以看到，随着无人机向目标移动，图像平面上目标的高度继续增加。

图3 用于估计深度的针孔相机模型

随着无人机的发展，我们的算法需要尺度不变的关键点。我们的方法首先在当前帧中找到ORB关键点，然后将它们与前一帧的关键点进行匹配。前一帧可以是与已处理帧紧邻的帧，也可以是由于传输延迟而跳过某些帧后的帧。因为ORB关键点是尺度不变的，所以它们倾向于在连续帧中匹配。我们使用暴力K近邻 (KNN) 匹配来计算两帧之间的匹配。对于这两个帧，计算所有匹配关键点的质心。连接质心和匹配关键点的线充当潜在障碍。然后，我们根据以下两条规则丢弃一些错误检测到的匹配项。

规则1：

随着无人机向前移动，每个匹配关键点与其质心之间的欧氏距离应连续帧的增加。所以我们放弃了欧几里德距离变小的匹配。该规则在图4的帮助下进行了说明。前一帧不一定是当前帧的前一帧。相反，它是一个包含与当前帧匹配的比例不变ORB的帧。两帧上的绿色圆圈是匹配的关键点，而蓝色圆圈是不匹配的关键点。匹配关键点的质心由两帧上的红色圆圈表示。请注意，当前帧中每个匹配关键点与质心的欧几里得距离大于前一帧的欧几里得距离。这些欧几里得距离之比称为欧几里得尺度。

图4 借助尺度不变的ORB关键点匹配进行深度估计

规则2：

应用规则1后，Mpc现在只包含剩余的匹配项。这些匹配的欧几里德刻度值最多计算两位小数，并按升序放入列表L中。然后将列表L划分为不同的重叠箱子。每个箱子B包含特定范围的刻度值。

我们的算法由Parrot AR Drone 2.0 Power版四轴飞行器评估。前置摄像头可以制作高清视频。但是，我们将其转换为640 × 360分辨率以加快计算速度。它的FoV为92°，并以每秒30帧的速率生成视频馈送。CVS在地面站上运行，地面站是64位四核处理器，处理器速度为2.4GHz，RAM为4GB，运行在Ubuntu 14.04 操作系统上。除了使用前置摄像头外，无人机没有使用或添加其他传感器来检测障碍物。前置摄像头的视频输入从无人机逐帧传输到CVS。然后CVS负责生成一组控制命令，这些命令是避开正面障碍物所必需的。该命令通过机器人操作系统接口传递给无人机。无人机PID控制器执行指令及时避开障碍物。我们让无人机在未知环境中从起点到目标点自主飞行。为了验证我们的算法，我们在无人机的路径上设置了一些障碍。我们在整个实验过程中保持无人机的速度恒定。CVS使用无人机前置摄像头提供的视频作为避障算法的输入。两个视频帧的尺度不变ORB匹配如图5所示。

图5 显示了两个图像帧的 ORB 关键点匹配

第一行代表UAV前置摄像头获取的原始RGB图像。最初的未过滤ORB匹配显示在第二行中。第三行和第四行分别表示通过应用规则1和规则2丢弃异常值条目后过滤的ORB匹配。我们可以想象最终的ORB匹配只存在于障碍物上。这些关键点的欧几里得尺度值用于估计当前无人机位置的深度。

通过仅使用前置摄像头来估计移动无人机的障碍物深度。我们使用尺度不变的ORB关键点来设计数学模型，并在GPS拒绝的未知环境中执行它们。我们提出的视觉系统能够准确地检测和避开正面障碍物。然而，我们的算法可能会在两种情况下失败：1）当无人机的速度增加时，与CVS的无线通信可能会延迟，以及 2）当障碍物的纹理不足以形成可靠的ORB关键点时。

源自：MAy 2019 ^ IEEE Consumer Electronics Magazine