无人机遥感的深度学习综述(深度神经网络与 无人机)

深度神经网络(DNNs)在数据表征方面技压群芳，为处理图像、时间序列、自然语言、音频、视频等处理带来了重大突破。本文全面回顾了基于UAV图像的深度学习(DL)基本原理，侧重于描述使用无人机获取数据的分类和回归技术。为此，对国际科学期刊数据库中发表的232篇论文进行了审查，并收集了已发表的材料，评估它们在应用、传感器和技术方面的特性。

深度神经网络综述

DNN 基于神经网络，由具有特定激活函数和参数的神经元(或单元)组成，这些神经网络将输入数据(如无人机遥感图像)转换为输出(如土地利用和土地覆盖图)，同时逐步学习更高级别的特征。

A DNN architecture. This is a simple example of how a DNN may be built. Here the initial layer (Xinput) is composed of the collected data samples. Later this data information can be extracted by hidden layers in a backpropagation manner, which is used by subsequent hidden layers to learn these features’ characteristics. In the end, another layer is used with an activation function related to the given problem (classification or regression, as an example), by returning a prediction outcome (Ylabel).

卷积和递归神经网络

A CNN type of architecture with convolution and deconvolution layers. This example architecture is formed by convolutional layers, where a dropout layer is added between each conv layer, and a max-pooling layer is adopted each time the convolution window-size is decreased. By the end of it, a deconvolutional layer is used with the same size as the last convolutional, and then it uses information from the previous step to reconstruct the image with its original size. The final layer is of a softmax, where it returns the models’ predictions.

分类和回归方法

• 分类任务

• 目标检测

• 语义分割

• 实例分割

Labeled examples. The first-row consists of a bounding-box type of object detection approach label-example toidentify individual tree-species in an urban environment. The second-row is a labeled-example of instance segmentation to detect rooftops in the same environment.

基于无人机图像的深度学习

全球传感器及应用

总的来说，在科学数据库中收集的文章展示了与其架构(CNN或RNN)、评估(分类或回归)方法(目标检测、分割或场景分类)、传感器类型(RGB、多光谱、高光谱或激光雷达)和地图背景(环境、城市或农业)，如下图:

Diagram describing proceedings and articles according to the defined categories using WOS and Google Scholar datasets.

环境测绘

基于DNNs的环境方法在遥感数据(包括UAV图像)方面的应用最为广泛。为了绘制自然特性及其特征，研究通常依赖于与其目标极为相关的方法和程序，并且无法提出或发现“通用”方法。

城市测绘

UAV嵌入式传感器提供的高空间分辨率是其在这些领域使用的主要原因之一。这些图像中的目标检测和实例分割方法是个性化、识别和绘制高细节目标的必要方法。

农业测绘

在最近的科学研究中，基于无人机图像和DL方法之间的整合极大地促进了精准农业应用。与这些方法相关的大多数问题涉及用于计数植物和检测种植区的目标检测和特征提取，识别种植园间隙，将植物物种和入侵物种分割为杂草、物候学和表型检测等。

基于UAV数据的深度学习展望

不可否认，基于DL方法是处理遥感系统产生大量数据的强大工具。本节简要评述了DL和遥感界最新领域之一的近期前景，该领域可通过基于UAV的图像来实施。

• 实时处理

• 降维

• 领域适应和迁移学习

• 基于注意力的机制

• Few-Shot学习

• 半监督学习和无监督学习

• 多任务学习

• 开放数据集

• 摄影测量处理

与轨道和其它航空传感采集方法相比，UAV平台的地面测绘具有一定优势：较少的大气干扰、在较低高度飞行的可能性、以及低运营成本，使得这种采集系统在商业和科学探索中都很受欢迎。但是，对多个物体进行目视检查仍然是一项耗时、有偏差且不准确的操作。目前，遥感方法的真正挑战是从此类数据中获取自动、快速和准确的信息。近年来，DL技术的出现为改善地球表面测绘提供了可靠和智能的方法。