DSR-Diff: Depth Map Super-Resolution with Diffusion Model

要約

カラーガイド深度マップ超解像度 (CDSR) は、対応する高品質カラー マップを使用して低品質深度マップの空間解像度を向上させ、3D 再構成、仮想現実、拡張現実などのさまざまなアプリケーションに恩恵をもたらします。
従来の CDSR 手法は通常、畳み込みニューラル ネットワークまたはトランスフォーマーに依存しますが、拡散モデル (DM) は高レベルのビジョン タスクにおいて顕著な有効性を実証しています。
この研究では、潜在空間内の拡散モデルを利用して深度マップ超解像度のガイダンスを生成する新しい CDSR パラダイムを紹介します。
提案された方法は、誘導生成ネットワーク (GGN)、深度マップ超解像度ネットワーク (DSRN)、および誘導回復ネットワーク (GRN) で構成されます。
GGN は、コンパクトさを管理しながらガイダンスを生成するように特別に設計されています。
さらに、シンプルだが効果的な特徴融合モジュールとトランスフォーマースタイルの特徴抽出モジュールを DSRN に統合し、マルチモデル画像の抽出、融合、再構成においてガイド付き事前確率を活用できるようにします。
精度と効率の両方を考慮すると、私たちが提案した方法は、最先端の方法と比較した場合、広範な実験で優れたパフォーマンスを示しました。
私たちのコードは https://github.com/shiyuan7/DSR-Diff で利用できるようになります。

要約(オリジナル)

Color-guided depth map super-resolution (CDSR) improve the spatial resolution of a low-quality depth map with the corresponding high-quality color map, benefiting various applications such as 3D reconstruction, virtual reality, and augmented reality. While conventional CDSR methods typically rely on convolutional neural networks or transformers, diffusion models (DMs) have demonstrated notable effectiveness in high-level vision tasks. In this work, we present a novel CDSR paradigm that utilizes a diffusion model within the latent space to generate guidance for depth map super-resolution. The proposed method comprises a guidance generation network (GGN), a depth map super-resolution network (DSRN), and a guidance recovery network (GRN). The GGN is specifically designed to generate the guidance while managing its compactness. Additionally, we integrate a simple but effective feature fusion module and a transformer-style feature extraction module into the DSRN, enabling it to leverage guided priors in the extraction, fusion, and reconstruction of multi-model images. Taking into account both accuracy and efficiency, our proposed method has shown superior performance in extensive experiments when compared to state-of-the-art methods. Our codes will be made available at https://github.com/shiyuan7/DSR-Diff.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google