Unpaired Depth Super-Resolution in the Wild

要約

一般的なセンサーでキャプチャされた深度マップは、多くの場合、品質と解像度が低くなります。
これらのマップは、多くのアプリケーションで使用できるように拡張する必要があります。
深度マップ超解像の最先端のデータ駆動型手法は、同じシーンの低解像度と高解像度の深度マップの登録済みペアに依存しています。
現実世界のペア データの取得には、特別なセットアップが必要です。
サブサンプリング、ノイズの追加、その他の人為的な劣化方法によって高解像度マップから低解像度マップを生成する別の方法では、現実世界の低解像度画像の特徴を完全には捉えられません。
結果として、このような人工的なペア データでトレーニングされた教師あり学習方法は、現実世界の低解像度入力ではうまく機能しない可能性があります。
ペアになっていないデータからの学習に基づく深度超解像へのアプローチを検討します。
対になっていない画像から画像への変換のための多くの手法が提案されていますが、ほとんどの場合、効果的な穴埋めや、深度マップを使用した正確な表面の再構築に失敗しています。
より正確な深度マップを生成するための機能として、学習可能な劣化モデル、強化コンポーネント、および表面法線推定に基づく、深度超解像の対応のない学習方法を提案します。
ペアになっていない深度SRのベンチマークを提案し、この方法が既存のペアになっていない方法よりも優れており、ペアと同等に機能することを実証します。

要約(オリジナル)

Depth maps captured with commodity sensors are often of low quality and resolution; these maps need to be enhanced to be used in many applications. State-of-the-art data-driven methods of depth map super-resolution rely on registered pairs of low- and high-resolution depth maps of the same scenes. Acquisition of real-world paired data requires specialized setups. Another alternative, generating low-resolution maps from high-resolution maps by subsampling, adding noise and other artificial degradation methods, does not fully capture the characteristics of real-world low-resolution images. As a consequence, supervised learning methods trained on such artificial paired data may not perform well on real-world low-resolution inputs. We consider an approach to depth super-resolution based on learning from unpaired data. While many techniques for unpaired image-to-image translation have been proposed, most fail to deliver effective hole-filling or reconstruct accurate surfaces using depth maps. We propose an unpaired learning method for depth super-resolution, which is based on a learnable degradation model, enhancement component and surface normal estimates as features to produce more accurate depth maps. We propose a benchmark for unpaired depth SR and demonstrate that our method outperforms existing unpaired methods and performs on par with paired.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google