CU-Net: LiDAR Depth-Only Completion With Coupled U-Net

要約

LiDAR 深度のみの完了は、LiDAR によって取得されたまばらな測定ポイントからのみ密な深度マップを推定するという困難なタスクです。
深度のみの方法は広く開発されていますが、エクストラ カラー イメージを使用する RGB ガイド付き方法とは、まだ大きなパフォーマンス ギャップがあります。
既存の深さのみの方法では、測定点がほぼ正確で均一に分布している領域 (通常の領域と呼ばれる) では満足のいく結果が得られますが、前景と背景の点が重なっている領域ではパフォーマンスが制限されることがわかります。
オクルージョン (オーバーラップ エリアとして示される) と周囲に測定ポイントがないエリア (ブランク エリアとして示される) は、メソッドがこれらのエリアで信頼できる入力情報を持っていないためです。
これらの観察に基づいて、深さのみの補完のための効果的な連結 U-Net (CU-Net) アーキテクチャを提案します。
回帰に大規模なネットワークを直接使用する代わりに、ローカル U-Net を使用して正常領域の正確な値を推定し、グローバル U-Net にオーバーラップ領域と空白領域の信頼できる初期値を提供します。
結合された 2 つの U-Net によって予測された深度マップは、学習された信頼マップによって融合され、最終的な結果が得られます。
さらに、単純な判定条件で外れ値を除去する信頼度ベースの外れ値除去モジュールを提案します。
私たちが提案した方法は、より少ないパラメーターで最終結果を向上させ、KITTI ベンチマークで最先端の結果を達成します。
さらに、さまざまな深度密度、さまざまな照明、および気象条件の下で強力な一般化機能を備えています。

要約(オリジナル)

LiDAR depth-only completion is a challenging task to estimate dense depth maps only from sparse measurement points obtained by LiDAR. Even though the depth-only methods have been widely developed, there is still a significant performance gap with the RGB-guided methods that utilize extra color images. We find that existing depth-only methods can obtain satisfactory results in the areas where the measurement points are almost accurate and evenly distributed (denoted as normal areas), while the performance is limited in the areas where the foreground and background points are overlapped due to occlusion (denoted as overlap areas) and the areas where there are no measurement points around (denoted as blank areas) since the methods have no reliable input information in these areas. Building upon these observations, we propose an effective Coupled U-Net (CU-Net) architecture for depth-only completion. Instead of directly using a large network for regression, we employ the local U-Net to estimate accurate values in the normal areas and provide the global U-Net with reliable initial values in the overlap and blank areas. The depth maps predicted by the two coupled U-Nets are fused by learned confidence maps to obtain final results. In addition, we propose a confidence-based outlier removal module, which removes outliers using simple judgment conditions. Our proposed method boosts the final results with fewer parameters and achieves state-of-the-art results on the KITTI benchmark. Moreover, it owns a powerful generalization ability under various depth densities, varying lighting, and weather conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google