VisLanding: Monocular 3D Perception for UAV Safe Landing via Depth-Normal Synergy

要約

このペーパーでは、SAFE UAV（無人航空機）着陸のための単眼3D認識ベースのフレームワークであるVislandingを紹介します。
複雑で未知の環境における自律UAV着陸の中心的な課題に対処するこの研究は、Metric3D V2モデルの深さ通常の相乗効果能力を革新的に活用して、エンドツーエンドの安全な着陸ゾーン（SLZ）推定フレームワークを構築します。
セーフゾーンセグメンテーションブランチを導入することにより、着陸ゾーンの推定タスクをバイナリセマンティックセグメンテーション問題に変換します。
このモデルは、UAVの観点からWildUavデータセットを使用して微調整および注釈が付けられていますが、モデルの堅牢性を検証するためにクロスドメイン評価データセットが構築されています。
実験結果は、視覚障害が深さ通常のジョイント最適化メカニズムを介して安全ゾーンの識別の精度を大幅に向上させ、Metric3D V2のゼロショット一般化の利点を保持することを示しています。
提案された方法は、他のアプローチと比較して、クロスドメインテストにおいて優れた一般化と堅牢性を示します。
さらに、予測された深さと通常の情報を統合し、実用的なアプリケーションに重要な意思決定サポートを提供することにより、着陸ゾーンエリアの推定が可能になります。

要約(オリジナル)

This paper presents VisLanding, a monocular 3D perception-based framework for safe UAV (Unmanned Aerial Vehicle) landing. Addressing the core challenge of autonomous UAV landing in complex and unknown environments, this study innovatively leverages the depth-normal synergy prediction capabilities of the Metric3D V2 model to construct an end-to-end safe landing zones (SLZ) estimation framework. By introducing a safe zone segmentation branch, we transform the landing zone estimation task into a binary semantic segmentation problem. The model is fine-tuned and annotated using the WildUAV dataset from a UAV perspective, while a cross-domain evaluation dataset is constructed to validate the model’s robustness. Experimental results demonstrate that VisLanding significantly enhances the accuracy of safe zone identification through a depth-normal joint optimization mechanism, while retaining the zero-shot generalization advantages of Metric3D V2. The proposed method exhibits superior generalization and robustness in cross-domain testing compared to other approaches. Furthermore, it enables the estimation of landing zone area by integrating predicted depth and normal information, providing critical decision-making support for practical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google