Single-View View Synthesis with Self-Rectified Pseudo-Stereo

要約

タイトル：自己修正擬似ステレオによる単眼視野両眼視野合成

要約：
– 単眼画像から新しい視点を合成することは高度に不確定な問題である。
– 我々の研究では、シングルビュー合成問題をマルチビューの設定に拡張することで、学習の曖昧さを減らす効果的な解決策を見つけた。
– 具体的には、確実で明示的なステレオ優先度を活用し、擬似ステレオ視点を生成し、これを補助入力として3D空間を構築する。
– このようにすることで、難解な新しい視点合成処理は、ステレオ合成問題と3D再構成の2つのより単純な問題に分解されます。
– 正しい構造と詳細が保存されたステレオ画像を合成するために、私たちは誤った領域を修正する自己訂正ステレオ合成を提案している。
– 難しい訓練と正しくない変形サンプルは、2つの戦略によって最初に検出されます。1つ目はネットワークを剪定して自信の低い予測を明らかにする方法です。2つ目は、ステレオ画像間で双方向マッチングを実施し、誤ったマッピングを発見することができます。
– これらの領域は、最終的な擬似ステレオを形成するために塗りつぶされます。
– この追加入力の助けを借りて、望ましい3D再構築が容易に得られ、私たちの方法は任意の3D表現と共に動作することができます。
– 広範な実験により、私たちの方法が最先端の単眼視野両眼視野合成方法およびステレオ合成方法を上回ることが示された。

要約(オリジナル)

Synthesizing novel views from a single view image is a highly ill-posed problem. We discover an effective solution to reduce the learning ambiguity by expanding the single-view view synthesis problem to a multi-view setting. Specifically, we leverage the reliable and explicit stereo prior to generate a pseudo-stereo viewpoint, which serves as an auxiliary input to construct the 3D space. In this way, the challenging novel view synthesis process is decoupled into two simpler problems of stereo synthesis and 3D reconstruction. In order to synthesize a structurally correct and detail-preserved stereo image, we propose a self-rectified stereo synthesis to amend erroneous regions in an identify-rectify manner. Hard-to-train and incorrect warping samples are first discovered by two strategies, 1) pruning the network to reveal low-confident predictions; and 2) bidirectionally matching between stereo images to allow the discovery of improper mapping. These regions are then inpainted to form the final pseudo-stereo. With the aid of this extra input, a preferable 3D reconstruction can be easily obtained, and our method can work with arbitrary 3D representations. Extensive experiments show that our method outperforms state-of-the-art single-view view synthesis methods and stereo synthesis methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI