Common Corruptions for Enhancing and Evaluating Robustness in Air-to-Air Visual Object Detection

要約

完全自律飛行を実現するための主な障壁は、航空機の自律航行にあります。
この問題では、非協力的なトラフィックの管理が最も重要な課題となります。
非協調トラフィックを処理するための最も効率的な戦略は、深層学習モデルによる単眼ビデオ処理に基づいています。
この研究は、環境およびハードウェア条件から生じるデータ破損がこれらの方法の有効性に及ぼす影響を調査することにより、ビジョンベースの深層学習航空機検出および追跡文献に貢献します。
より具体的には、実際の飛行条件を考慮して、カメラ入力の一般的な破損の 7 ドル タイプを設計しました。
これらの破損を空中物体追跡 (AOT) データセットに適用することで、空対空空中物体検出用の AOT-C という名前の最初の堅牢性ベンチマーク データセットを構築しました。
このデータセットに含まれる破損は、悪天候やセンサー ノイズなど、幅広い困難な条件をカバーしています。
このレターの 2 番目の主な貢献は、8 ドルのさまざまなオブジェクト検出器を使用した広範な実験評価を提示し、破損 (ドメイン シフト) のレベルがエスカレートする場合のパフォーマンスの低下を調査することです。
評価結果に基づいて明らかになる主な観察結果は次のとおりです。1) YOLO ファミリの 1 ステージ検出器は優れた堅牢性を示しています。2) Faster R-CNN のようなトランスベースのマルチステージ検出器は破損に対して非常に脆弱です。
3) 破損に対する堅牢性は、モデルの一般化能力に関連しています。
3 番目の主な貢献は、拡張合成データの微調整により、実世界の飛行実験における物体検出器の一般化能力が向上することを示したことです。

要約(オリジナル)

The main barrier to achieving fully autonomous flights lies in autonomous aircraft navigation. Managing non-cooperative traffic presents the most important challenge in this problem. The most efficient strategy for handling non-cooperative traffic is based on monocular video processing through deep learning models. This study contributes to the vision-based deep learning aircraft detection and tracking literature by investigating the impact of data corruption arising from environmental and hardware conditions on the effectiveness of these methods. More specifically, we designed $7$ types of common corruptions for camera inputs taking into account real-world flight conditions. By applying these corruptions to the Airborne Object Tracking (AOT) dataset we constructed the first robustness benchmark dataset named AOT-C for air-to-air aerial object detection. The corruptions included in this dataset cover a wide range of challenging conditions such as adverse weather and sensor noise. The second main contribution of this letter is to present an extensive experimental evaluation involving $8$ diverse object detectors to explore the degradation in the performance under escalating levels of corruptions (domain shifts). Based on the evaluation results, the key observations that emerge are the following: 1) One-stage detectors of the YOLO family demonstrate better robustness, 2) Transformer-based and multi-stage detectors like Faster R-CNN are extremely vulnerable to corruptions, 3) Robustness against corruptions is related to the generalization ability of models. The third main contribution is to present that finetuning on our augmented synthetic data results in improvements in the generalisation ability of the object detector in real-world flight experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google