Decoupling Fine Detail and Global Geometry for Compressed Depth Map Super-Resolution

要約

消費者向けの深度カメラの制限とデータ送信時の帯域幅の制限により、圧縮ソースから高品質の深度マップを復元することが大きな注目を集めています。
しかし、現在の方法には依然として 2 つの課題があります。
まず、ビット深度圧縮により、微妙な変化のある領域で均一な深度表現が生成され、詳細な情報の復元が妨げられます。
第 2 に、密に分布したランダム ノイズにより、シーンの全体的な幾何学的構造の推定精度が低下します。
これらの課題に対処するために、圧縮深度マップ超解像のためのジオメトリ分離ネットワーク (GDNet) と呼ばれる新しいフレームワークを提案します。このフレームワークは、グローバルな幾何学的特徴と詳細な幾何学的特徴を個別に処理することで、高品質の深度マップ再構成プロセスを分離します。
具体的には、微細ジオメトリ詳細エンコーダ (FGDE) を提案します。これは、高解像度の低レベル画像特徴の微細ジオメトリ詳細を集約すると同時に、低解像度コンテキストレベルの画像特徴からの補完情報でそれらを強化するように設計されています。
さらに、低ランク空間でコンパクトな特徴表現を構築することにより、ノイズを抑制し、グローバル幾何情報を効果的に抽出することを目的としたグローバル幾何エンコーダ（GGE）を開発します。
私たちは複数のベンチマーク データセットで実験を実施し、幾何学的一貫性と詳細復元の点で GDNet が現在の方法よりも大幅に優れていることを実証しました。
ECCV 2024 AIM Compressed Depth Upsampling Challenge で、当社のソリューションは 1 位を獲得しました。
私たちのコードが利用可能になります。

要約(オリジナル)

Recovering high-quality depth maps from compressed sources has gained significant attention due to the limitations of consumer-grade depth cameras and the bandwidth restrictions during data transmission. However, current methods still suffer from two challenges. First, bit-depth compression produces a uniform depth representation in regions with subtle variations, hindering the recovery of detailed information. Second, densely distributed random noise reduces the accuracy of estimating the global geometric structure of the scene. To address these challenges, we propose a novel framework, termed geometry-decoupled network (GDNet), for compressed depth map super-resolution that decouples the high-quality depth map reconstruction process by handling global and detailed geometric features separately. To be specific, we propose the fine geometry detail encoder (FGDE), which is designed to aggregate fine geometry details in high-resolution low-level image features while simultaneously enriching them with complementary information from low-resolution context-level image features. In addition, we develop the global geometry encoder (GGE) that aims at suppressing noise and extracting global geometric information effectively via constructing compact feature representation in a low-rank space. We conduct experiments on multiple benchmark datasets, demonstrating that our GDNet significantly outperforms current methods in terms of geometric consistency and detail recovery. In the ECCV 2024 AIM Compressed Depth Upsampling Challenge, our solution won the 1st place award. Our codes will be available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google