Inter-View Depth Consistency Testing in Depth Difference Subspace

要約

マルチビュー深度画像は、自由視点テレビで重要な役割を果たします。
この技術では、動的な現実世界のシーンで視聴者が自由に移動できるようにするために、高品質の仮想ビュー合成が必要です。
異なる視点での深度画像を使用して、任意の数の新しいビューを合成します。
通常、複数の視点での深度画像は、ステレオ マッチング アルゴリズムによって個別に推定されるため、インタビューの一貫性に欠けます。
この不一致は、ビュー合成の品質に悪影響を及ぼします。
この論文では、複数の視点にわたるシーンの深度表現を強化するために、深度差部分空間での深度一貫性テストの方法を提案します。
さらに、得られた一貫性情報を使用して、任意の視点での仮想ビューの視覚的品質を向上させるビュー合成アルゴリズムを提案します。
私たちの方法は、ビュー間の一貫性を効率的にテストできる深度差測定の線形部分空間を見つけるのに役立ちます。
これにより、私たちのアプローチは、現実世界のシーンの深度情報を強化することができます。
一貫性に適応したビュー合成と組み合わせることで、自由視点ユーザーの視覚体験を向上させます。
実験は、私たちのアプローチが仮想ビューの客観的な品質を最大 1.4 dB 向上させることを示しています。
主観的な品質に対する利点も実証されています。

要約(オリジナル)

Multiview depth imagery will play a critical role in free-viewpoint television. This technology requires high quality virtual view synthesis to enable viewers to move freely in a dynamic real world scene. Depth imagery at different viewpoints is used to synthesize an arbitrary number of novel views. Usually, depth images at multiple viewpoints are estimated individually by stereo-matching algorithms, and hence, show lack of interview consistency. This inconsistency affects the quality of view synthesis negatively. This paper proposes a method for depth consistency testing in depth difference subspace to enhance the depth representation of a scene across multiple viewpoints. Furthermore, we propose a view synthesis algorithm that uses the obtained consistency information to improve the visual quality of virtual views at arbitrary viewpoints. Our method helps us to find a linear subspace for our depth difference measurements in which we can test the inter-view consistency efficiently. With this, our approach is able to enhance the depth information for real world scenes. In combination with our consistency-adaptive view synthesis, we improve the visual experience of the free-viewpoint user. The experiments show that our approach enhances the objective quality of virtual views by up to 1.4 dB. The advantage for the subjective quality is also demonstrated.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google