Object Semantics Give Us the Depth We Need: Multi-task Approach to Aerial Depth Completion

要約

タイトル:物体セマンティクスによって深度補完に必要な推定が可能になる：航空深度補完のマルチタスクアプローチ
要約:
– 航空3Dマッピング、経路計画、無人航空機（UAV）の衝突回避によく使用される深度補完と物体検出は2つの重要なタスクです。
– 解決策の一般的な手段はLiDARセンサーからの測定値を使用することですが、生成された点群はしばしば疎かつ不規則であり、3Dレンダリングや安全上重要な決定を制限します。
– この課題を緩和するために、UAVの他のセンサー（物体検出に使用されるカメラ）からの情報を使用して、深度補完プロセスがより密な3Dモデルを生成するのに役立てます。
– 2つのセンサーからデータを融合しながら、航空深度補完と物体検出の両方を実行することは、リソース効率に課題を提起します。提案された手法は、エンコーダに焦点を当てたマルチタスク学習モデルに基づくもので、2つのタスクを共同学習された特徴に露出させます。
– 物体検出経路によって学習されたシーン内のオブジェクトのセマンティックな期待が、深度補完経路のパフォーマンスを向上させ、欠落している深度値を置きます。
– 実験結果は、提案されたマルチタスクネットワークが、特に不良入力にさらされた場合に、単一タスクの対応物を上回ることを示しています。

要約(オリジナル)

Depth completion and object detection are two crucial tasks often used for aerial 3D mapping, path planning, and collision avoidance of Uncrewed Aerial Vehicles (UAVs). Common solutions include using measurements from a LiDAR sensor; however, the generated point cloud is often sparse and irregular and limits the system’s capabilities in 3D rendering and safety-critical decision-making. To mitigate this challenge, information from other sensors on the UAV (viz., a camera used for object detection) is utilized to help the depth completion process generate denser 3D models. Performing both aerial depth completion and object detection tasks while fusing the data from the two sensors poses a challenge to resource efficiency. We address this challenge by proposing a novel approach to jointly execute the two tasks in a single pass. The proposed method is based on an encoder-focused multi-task learning model that exposes the two tasks to jointly learned features. We demonstrate how semantic expectations of the objects in the scene learned by the object detection pathway can boost the performance of the depth completion pathway while placing the missing depth values. Experimental results show that the proposed multi-task network outperforms its single-task counterpart, particularly when exposed to defective inputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI