Is That Rain? Understanding Effects on Visual Odometry Performance for Autonomous UAVs and Efficient DNN-based Rain Classification at the Edge

要約

安全で信頼性の高い自律型無人航空機の開発は、センサー入力に基づいてローカル環境の変化を認識し、それに適応するシステムの能力に依存しています。
最先端のローカル追跡と軌道計画は通常、飛行制御アルゴリズムへのカメラセンサー入力を使用して実行されますが、雨などの環境外乱がこれらのシステムのパフォーマンスにどの程度影響するかはほとんどわかっていません。
この論文では、最初に、7 つの異なるクラスの降水条件に対するこれらの影響を調べるために、約 335,000 枚の画像で構成されるオープン データセットの開発について説明し、最悪の場合の平均追跡誤差が 1.5 m になる可能性があることを示します。
-アートビジュアルオドメトリシステム（VINS-Fusion）。
次に、このデータセットを使用して、モバイルおよび制約された展開シナリオに適した一連のディープ ニューラル ネットワーク モデルをトレーニングし、これらの「雨の多い」状況を効率的かつ正確に分類できる範囲を決定します。
これらのモデルの中で最も軽量なモデル (MobileNetV3 Small) は、わずか 1.28 MB のメモリ フットプリントと 93 FPS のフレーム レートで 90% の精度を達成でき、リソースに制約があり遅延に敏感なシステムでの展開に適しています。
一般的なフライト コンピューター ハードウェアを使用して、ミリ秒オーダーの分類遅延を実証します。
したがって、そのようなモデルは自律飛行制御装置の外乱推定コンポーネントにフィードすることができます。
さらに、環境条件をリアルタイムで正確に判断できる無人航空機からのデータは、より詳細でタイムリーな局地的な気象予測の開発に貢献する可能性があります。

要約(オリジナル)

The development of safe and reliable autonomous unmanned aerial vehicles relies on the ability of the system to recognise and adapt to changes in the local environment based on sensor inputs. State-of-the-art local tracking and trajectory planning are typically performed using camera sensor input to the flight control algorithm, but the extent to which environmental disturbances like rain affect the performance of these systems is largely unknown. In this paper, we first describe the development of an open dataset comprising ~335k images to examine these effects for seven different classes of precipitation conditions and show that a worst-case average tracking error of 1.5 m is possible for a state-of-the-art visual odometry system (VINS-Fusion). We then use the dataset to train a set of deep neural network models suited to mobile and constrained deployment scenarios to determine the extent to which it may be possible to efficiently and accurately classify these `rainy’ conditions. The most lightweight of these models (MobileNetV3 small) can achieve an accuracy of 90% with a memory footprint of just 1.28 MB and a frame rate of 93 FPS, which is suitable for deployment in resource-constrained and latency-sensitive systems. We demonstrate a classification latency in the order of milliseconds using typical flight computer hardware. Accordingly, such a model can feed into the disturbance estimation component of an autonomous flight controller. In addition, data from unmanned aerial vehicles with the ability to accurately determine environmental conditions in real time may contribute to developing more granular timely localised weather forecasting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google