The Devil is in the Details: Boosting Guided Depth Super-Resolution via Rethinking Cross-Modal Alignment and Aggregation

要約

ガイド付き深度超解像 (GDSR) には、同じシーンの高解像度 RGB 画像を使用して、失われた深度の詳細を復元することが含まれます。
これまでのアプローチは、マルチモーダル入力の不均一性と相補性に苦戦し、モーダルの位置ずれ、幾何学的位置のずれ、および特徴の選択の問題を無視していました。
この研究では、GDSR ネットワークのいくつかの重要なコンポーネントを再考し、シンプルかつ効果的なダイナミック デュアル アライメントおよびアグリゲーション ネットワーク (D2A2) を提案します。
D2A2 は主に、1) 学習可能なドメイン アライメント ブロックを介してモーダル ミスアライメントを緩和し、オフセットを学習することでクロスモーダル フィーチャを幾何学的に位置合わせする動的デュアル アライメント モジュールで構成されます。
2) ゲート メカニズムとピクセル アテンションを使用して、RGB 特徴から無関係なテクスチャ ノイズを除去し、有用な特徴と深度特徴を組み合わせるマスクからピクセルへの特徴集約モジュール。
RGB 画像によってもたらされる外乱を最小限に抑えながら、RGB と深度特徴の長所を組み合わせることで、基本コンポーネントの簡単な再利用と再設計を伴う私たちの手法は、複数のベンチマーク データセットで最先端のパフォーマンスを達成します。
コードは https://github.com/JiangXinni/D2A2 で入手できます。

要約(オリジナル)

Guided depth super-resolution (GDSR) involves restoring missing depth details using the high-resolution RGB image of the same scene. Previous approaches have struggled with the heterogeneity and complementarity of the multi-modal inputs, and neglected the issues of modal misalignment, geometrical misalignment, and feature selection. In this study, we rethink some essential components in GDSR networks and propose a simple yet effective Dynamic Dual Alignment and Aggregation network (D2A2). D2A2 mainly consists of 1) a dynamic dual alignment module that adapts to alleviate the modal misalignment via a learnable domain alignment block and geometrically align cross-modal features by learning the offset; and 2) a mask-to-pixel feature aggregate module that uses the gated mechanism and pixel attention to filter out irrelevant texture noise from RGB features and combine the useful features with depth features. By combining the strengths of RGB and depth features while minimizing disturbance introduced by the RGB image, our method with simple reuse and redesign of basic components achieves state-of-the-art performance on multiple benchmark datasets. The code is available at https://github.com/JiangXinni/D2A2.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google