Learnable Differencing Center for Nighttime Depth Perception

要約

深度補完は、通常はカラー イメージを使用して、疎な深度マップから密な深度マップを復元するタスクです。
既存の画像誘導手法は、日中の奥行き知覚の自動運転ベンチマークでは良好なパフォーマンスを発揮しますが、視界が悪く複雑な照明がある夜間のシナリオでは苦戦します。
これらの課題に対処するために、私たちは LDCNet と呼ばれるシンプルかつ効果的なフレームワークを提案します。
私たちの重要なアイデアは、再帰型畳み込み間差分法 (RICD) と照明親和型内部畳み込み差分法 (IAICD) を使用して、それぞれ夜間のカラー画像を強化し、変化する照明の悪影響を軽減することです。
RICD は、異なるカーネルを使用した 2 つの畳み込みを差分することでグローバル イルミネーションを明示的に推定し、新しい視点で小規模カーネル畳み込み特徴を大規模カーネル畳み込み特徴の中心として扱います。
IAICD は、単一の畳み込みを差分することで局所的な相対光強度をソフトに緩和します。中心は、隣接するピクセルと RICD で推定された照明マップに基づいて動的に集約されます。
夜間の深度完了タスクと深度推定タスクの両方において、広範な実験により当社の LDCNet の有効性が実証され、最先端の技術に達しています。

要約(オリジナル)

Depth completion is the task of recovering dense depth maps from sparse ones, usually with the help of color images. Existing image-guided methods perform well on daytime depth perception self-driving benchmarks, but struggle in nighttime scenarios with poor visibility and complex illumination. To address these challenges, we propose a simple yet effective framework called LDCNet. Our key idea is to use Recurrent Inter-Convolution Differencing (RICD) and Illumination-Affinitive Intra-Convolution Differencing (IAICD) to enhance the nighttime color images and reduce the negative effects of the varying illumination, respectively. RICD explicitly estimates global illumination by differencing two convolutions with different kernels, treating the small-kernel-convolution feature as the center of the large-kernel-convolution feature in a new perspective. IAICD softly alleviates local relative light intensity by differencing a single convolution, where the center is dynamically aggregated based on neighboring pixels and the estimated illumination map in RICD. On both nighttime depth completion and depth estimation tasks, extensive experiments demonstrate the effectiveness of our LDCNet, reaching the state of the art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google