Guided Depth Super-Resolution by Deep Anisotropic Diffusion

要約

RGB 画像からのガイダンスを使用して深度画像の超解像を実行することは、ロボット工学、医療画像処理、リモート センシングなどのいくつかの分野に関係する問題です。
ディープ ラーニング手法はこの問題で良い結果を達成しましたが、最近の研究では、最新の手法をより正式なフレームワークと組み合わせることの価値が強調されています。
この作業では、ガイド付き異方性拡散と深い畳み込みネットワークを組み合わせ、ガイド付き深度超解像の最先端技術を進歩させる新しいアプローチを提案します。
拡散のエッジ転送/強化プロパティは、最新のネットワークのコンテキスト推論機能によって強化され、厳密な調整ステップにより、ソース イメージへの完全な準拠が保証されます。
ガイド付き深度超解像のために一般的に使用される 3 つのベンチマークで前例のない結果を達成しました。
他の方法と比較したパフォーマンスの向上は、x32 スケーリングなどの大規模なスケールで最大になります。
提案された方法のコード (https://github.com/prs-eth/Diffusion-Super-Resolution) は、結果の再現性を促進するために利用できます。

要約(オリジナル)

Performing super-resolution of a depth image using the guidance from an RGB image is a problem that concerns several fields, such as robotics, medical imaging, and remote sensing. While deep learning methods have achieved good results in this problem, recent work highlighted the value of combining modern methods with more formal frameworks. In this work, we propose a novel approach which combines guided anisotropic diffusion with a deep convolutional network and advances the state of the art for guided depth super-resolution. The edge transferring/enhancing properties of the diffusion are boosted by the contextual reasoning capabilities of modern networks, and a strict adjustment step guarantees perfect adherence to the source image. We achieve unprecedented results in three commonly used benchmarks for guided depth super-resolution. The performance gain compared to other methods is the largest at larger scales, such as x32 scaling. Code (https://github.com/prs-eth/Diffusion-Super-Resolution) for the proposed method is available to promote reproducibility of our results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google