基于计算机视觉的无人机定位

假设你有一张航拍图像，但不知道拍摄位置，但知道空间分辨率和方向。计算机视觉如何帮助解决这个问题？这似乎是事实核查、损坏数据地理参考或导航的常见问题。

第一个问题是数据。只有少数数据集专门用于此任务。

我发现这个研究 ，科学家在其中解决了类似的任务，但针对的是热成像。

1、变化检测数据集

当我查看 TorchGeo 时，我发现变化检测数据集正是我需要的。有时间图像对，景观和季节也多种多样。

此外，可以使用分割或分类数据集和积极增强。

此外，我还发现了 S2Looking、LevirCD+、XView2 变化检测数据集，它们已经上传到 Kaggle 并可与 Kaggle 笔记本一起使用。

因此，我选择了 Kaggle，因为我没有 GPU，而且它比 Google Colab 更方便，因为它可以在我离线时进行训练。

2、模型和概念

作为模型，我使用了带有 TripletMargin 损失的 Mobilenet。这个概念出现在 2015 年，并被许多公司成功用于人脸验证 。

目前，还有许多其他选择，但对于第一次实验来说，古老而知名的解决方案似乎不错。

遗憾的是，经典的 SIFT 和 ORB 匹配缺乏稳健性，尤其是在匹配使用不同季节和不同传感器拍摄的图像时。

我使用滑动窗口模型，并采用步幅来查找源图像中最相似的点。

此外，最近出现了许多有趣的选项，例如LightGlue，Kaggle 上也有一个非常激动人心的挑战 。看起来可能有很多很棒的想法可供进一步研究。

3、数据增强

我使用两阶段数据增强来使模型更加稳健：

• 通过相同的几何变换增强锚点和正样本。
• 通过相同颜色变换增强正样本和负样本，但与锚点图像的颜色变换不同。尝试在锚点和正负样本之间模拟不同的传感器或不同的季节。

4、实验

几个月前，我为另一个实验 收集了数据，看起来我可以使用它。

我从镜头中抓取了三帧。

我只对它们进行了平移、缩放和旋转，没有使用正射校正或运动结构，假设我只有高度和地平线，解决方案应该可以快速工作。

从不同高度和不同角度捕获的图像。分辨率设置为 EPSG:3857 中的 0.6m，以适应 TMS 缩放级别 = 18。

如示例图像所示，存在许多差异：

• 不同的季节 - 冬季和夏季
• 不同的天气 - 晴天和多云
• 大扭曲，尤其是靠近图像边界，不同的模糊和锐化
• 土地利用的变化

5、匹配结果

匹配地图的第一个原始结果让我感到困惑，但当我在匹配地图上只留下 2.5% 的最小距离时，它开始看起来好多了，当我留下前 3 个最近的补丁时，一切开始变得很好。

如果训练网络更多次，图片可能会更好。

示例 1。运行良好。找到。

在整个大图像中，最佳结果在目标区域。我认为这是成功的。

示例 2。在附近区域发现。

看起来网络在处理如此多的颜色和几何扭曲以匹配图像时表现更差。可能是训练数据集和网络训练不佳的问题。

示例 3。更多误报，但在附近区域发现。

看起来网络在处理如此多的颜色和几何扭曲以匹配图像时表现更差。可能是训练数据集和网络训练不佳的问题。

这部分已编辑，我在评估时犯了错误。

6、结束语

大多数人将正射校正图像作为查询图像进行查询，但由于计算成本高，很难在无人机上进行这种校正。此外，我没有找到不同季节的实验。这里有明确的证据——它可以奏效。

此外，还有明确的证据表明，公开可用的变化检测数据集可用于开发类似的解决方案。

我只有大约 4 天的时间进行这项实验和撰写本文，因此，不幸的是，训练数据集没有得到很好的探索，目标数据没有探索，神经网络是在几个小时内建立的，并从第二次尝试开始训练，错误没有探索。还有很大的进一步研究空间​​。可以点击这里查看Kaggle 上的训练管道。

原文链接：Let’s try to locate UAV with change detection datasets and FaceNet

汇智网翻译整理，转载请标明出处