Degradation Oriented and Regularized Network for Real-World Depth Super-Resolution

要約

最近、既存の RGB ガイド深度超解像度手法は、固定された既知の劣化 (バイキュービック ダウンサンプリングなど) の仮定に基づいて優れたパフォーマンスを達成しています。
ただし、現実世界のシナリオでは、センサーの制限やイメージング環境の複雑さ (低反射面、照明など) により、捕捉された深度は型破りで不可知的な劣化に見舞われることがよくあります。
実際の劣化が想定と異なる場合、パフォーマンスは大幅に低下します。
これらの問題に対処するために、我々は、深度回復のための的を絞ったガイダンスを提供できる低解像度深度の劣化表現の学習にさらに注目する、劣化指向かつ正規化ネットワーク (DORNet) を提案します。
具体的には、まず、ルーティング選択ベースの劣化正則化を使用して、低解像度深度の識別劣化表現をモデル化する自己教師あり劣化学習を設計します。
次に、複数の劣化指向特徴変換を再帰的に実行する劣化認識を提示します。各変換は、学習された劣化表現に基づいて深度に RGB 情報を選択的に埋め込みます。
実際のデータセットと合成データセットの両方に関する広範な実験結果は、私たちの方法が最先端のパフォーマンスを達成することを実証しています。

要約(オリジナル)

Recently, existing RGB-guided depth super-resolution methods achieve excellent performance based on the assumption of fixed and known degradation (e.g., bicubic downsampling). However, in real-world scenarios, the captured depth often suffers from unconventional and agnostic degradation due to sensor limitations and the complexity of imaging environments (e.g., low reflective surface, illumination). Their performance significantly declines when these real degradation differ from their assumptions. To address these issues, we propose a Degradation Oriented and Regularized Network, DORNet, which pays more attention on learning degradation representation of low-resolution depth that can provide targeted guidance for depth recovery. Specifically, we first design a self-supervised Degradation Learning to model the discriminative degradation representation of low-resolution depth using routing selection-based Degradation Regularization. Then, we present a Degradation Awareness that recursively conducts multiple Degradation-Oriented Feature Transformations, each of which selectively embeds RGB information into the depth based on the learned degradation representation. Extensive experimental results on both real and synthetic datasets demonstrate that our method achieves state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google