LiDAR Meta Depth Completion

要約

深さの推定は、モバイル自律システムを作成する際に取り組むべき重要なタスクの 1 つです。
単眼の深度推定方法は最近改善されていますが、深度補完は、LiDAR などの他のセンサーからのまばらな深度情報をさらに使用することにより、より正確で信頼性の高い深度マップを提供します。
ただし、現在の方法は、単一の LiDAR センサー用に特別にトレーニングされています。
スキャン パターンはセンサー間で異なるため、新しいセンサーごとに専用の深度完了モデルを再トレーニングする必要がありますが、これは計算効率が悪く、柔軟性に欠けます。
したがって、LiDAR 適応型深度補完を可能にする、使用されるセンサーの種類に深度補完モデルを動的に適応させることを提案します。
具体的には、データから導出されたデータ パターンを使用してタスク ネットワークを学習し、メイン深度補完ネットワークの重みを変更して、特定の深度補完タスクを効果的に解決するメタ深度補完ネットワークを提案します。
この方法は、複数の LiDAR スキャン パターンに対処する強力な機能を実証し、トレーニング中に表示されないスキャン パターンにも一般化できます。
単一モデルを使用しながら、私たちの方法は、異なる LiDAR パターンでトレーニングされた非適応ベースラインよりも大幅に優れた結果をもたらします。
非常にまばらなケースでは、LiDAR 固有のエキスパート モデルよりも優れたパフォーマンスを発揮します。
これらの利点により、単一の深度完了モデルをさまざまなセンサーに柔軟に展開できるようになり、固定スキャン パターンではなく適応型スキャン パターンを使用して初期の LiDAR テクノロジーの入力を処理するのにも価値があることが証明される可能性があります。

要約(オリジナル)

Depth estimation is one of the essential tasks to be addressed when creating mobile autonomous systems. While monocular depth estimation methods have improved in recent times, depth completion provides more accurate and reliable depth maps by additionally using sparse depth information from other sensors such as LiDAR. However, current methods are specifically trained for a single LiDAR sensor. As the scanning pattern differs between sensors, every new sensor would require re-training a specialized depth completion model, which is computationally inefficient and not flexible. Therefore, we propose to dynamically adapt the depth completion model to the used sensor type enabling LiDAR adaptive depth completion. Specifically, we propose a meta depth completion network that uses data patterns derived from the data to learn a task network to alter weights of the main depth completion network to solve a given depth completion task effectively. The method demonstrates a strong capability to work on multiple LiDAR scanning patterns and can also generalize to scanning patterns that are unseen during training. While using a single model, our method yields significantly better results than a non-adaptive baseline trained on different LiDAR patterns. It outperforms LiDAR-specific expert models for very sparse cases. These advantages allow flexible deployment of a single depth completion model on different sensors, which could also prove valuable to process the input of nascent LiDAR technology with adaptive instead of fixed scanning patterns.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google