Is That Rain? Understanding Effects on Visual Odometry Performance for Autonomous UAVs and Efficient DNN-based Rain Classification at the Edge

要約

安全で信頼性の高い自律無人航空機の開発は、センサーの入力に基づいてローカル環境の変化を認識し、適応するシステムの能力に依存しています。
通常、最先端のローカル追跡と軌道計画は、フライトコントロールアルゴリズムへのカメラセンサー入力を使用して実行されますが、雨のような環境障害がこれらのシステムの性能に影響する程度はほとんど不明です。
このペーパーでは、最初に、7つの異なるクラスの降水条件のこれらの効果を調べるために、〜335k画像を含むオープンデータセットの開発について説明し、最悪の平均追跡エラーが最先端の場合に可能であることを示します。
-ART Visual Odometry System（Vins-Fusion）。
次に、データセットを使用して、モバイルおよび制約のある展開シナリオに適したディープニューラルネットワークモデルのセットをトレーニングして、これらの「雨のような」条件を効率的かつ正確に分類できる範囲を決定します。
これらのモデルの中で最も軽量（MobileNETV3 Small）は、わずか1.28 MBのメモリフットプリントと93 FPSのフレームレートで90％の精度を達成できます。
典型的なフライトコンピューターハードウェアを使用して、ミリ秒程度の分類レイテンシを示します。
したがって、このようなモデルは、自律飛行コントローラーの妨害推定コンポーネントにフィードすることができます。
さらに、環境条件をリアルタイムで正確に決定する能力を備えた無人航空機のデータは、より粒状のタイムリー局所的な気象予測の開発に貢献する可能性があります。

要約(オリジナル)

The development of safe and reliable autonomous unmanned aerial vehicles relies on the ability of the system to recognise and adapt to changes in the local environment based on sensor inputs. State-of-the-art local tracking and trajectory planning are typically performed using camera sensor input to the flight control algorithm, but the extent to which environmental disturbances like rain affect the performance of these systems is largely unknown. In this paper, we first describe the development of an open dataset comprising ~335k images to examine these effects for seven different classes of precipitation conditions and show that a worst-case average tracking error of 1.5 m is possible for a state-of-the-art visual odometry system (VINS-Fusion). We then use the dataset to train a set of deep neural network models suited to mobile and constrained deployment scenarios to determine the extent to which it may be possible to efficiently and accurately classify these `rainy’ conditions. The most lightweight of these models (MobileNetV3 small) can achieve an accuracy of 90% with a memory footprint of just 1.28 MB and a frame rate of 93 FPS, which is suitable for deployment in resource-constrained and latency-sensitive systems. We demonstrate a classification latency in the order of milliseconds using typical flight computer hardware. Accordingly, such a model can feed into the disturbance estimation component of an autonomous flight controller. In addition, data from unmanned aerial vehicles with the ability to accurately determine environmental conditions in real time may contribute to developing more granular timely localised weather forecasting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google