Degradation Oriented and Regularized Network for Blind Depth Super-Resolution

要約

最近の RGB ガイド深度超解像度手法は、固定された既知の劣化 (バイキュービック ダウンサンプリングなど) の仮定の下で、優れたパフォーマンスを達成しました。
ただし、現実世界のシナリオでは、センサーの制限や複雑なイメージング環境 (低反射面、変動する照明など) により、キャプチャされた深度データは、多くの場合、型破りで未知の劣化に悩まされます。
したがって、現実の劣化が想定から逸脱すると、これらの手法のパフォーマンスは大幅に低下します。
この論文では、暗黙的な劣化表現を通じて現実世界のシーンにおける未知の劣化に適応的に対処するように設計された新しいフレームワークである劣化指向正則ネットワーク (DORNet) を提案します。
私たちのアプローチは、配線選択ベースの劣化正則化を使用して低解像度の深度データの劣化表現をモデル化する自己教師あり劣化学習戦略の開発から始まります。
効果的な RGB-D 融合を促進するために、学習された劣化事前分布に基づいて RGB コンテンツを深度データに選択的に伝播する劣化指向の特徴変換モジュールをさらに導入します。
実際のデータセットと合成データセットの両方に関する広範な実験結果は、未知の劣化の処理における DORNet の優位性を実証し、既存の方法を上回ります。
コードは https://github.com/yanzq95/DORNet で入手できます。

要約(オリジナル)

Recent RGB-guided depth super-resolution methods have achieved impressive performance under the assumption of fixed and known degradation (e.g., bicubic downsampling). However, in real-world scenarios, captured depth data often suffer from unconventional and unknown degradation due to sensor limitations and complex imaging environments (e.g., low reflective surfaces, varying illumination). Consequently, the performance of these methods significantly declines when real-world degradation deviate from their assumptions. In this paper, we propose the Degradation Oriented and Regularized Network (DORNet), a novel framework designed to adaptively address unknown degradation in real-world scenes through implicit degradation representations. Our approach begins with the development of a self-supervised degradation learning strategy, which models the degradation representations of low-resolution depth data using routing selection-based degradation regularization. To facilitate effective RGB-D fusion, we further introduce a degradation-oriented feature transformation module that selectively propagates RGB content into the depth data based on the learned degradation priors. Extensive experimental results on both real and synthetic datasets demonstrate the superiority of our DORNet in handling unknown degradation, outperforming existing methods. The code is available at https://github.com/yanzq95/DORNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google