Single-View View Synthesis with Self-Rectified Pseudo-Stereo

要約

タイトル：Self-Rectified Pseudo-Stereoによる単一視点からの虚像合成
要約：
– 単一の視点画像から新しい視点画像を合成することは、極めて不完全な問題です。
– 私たちは、単一視点視点合成問題をマルチビュー設定に拡張することによって、学習の曖昧さを減らす効果的な解決策を発見しました。
– 具体的には、信頼性が高く明示的なステレオ優先度を利用して、疑似ステレオ視点を生成し、これを補助的な入力として3D空間を構築します。
– この方法により、挑戦的な新しい視点合成プロセスは、ステレオ合成と3D再構築の2つのより単純な問題に分解されます。
– 正確で、詳細な構造のあるステレオ画像を合成するために、誤った領域を修正する自己整列ステレオ合成を提案します。
– 学習が困難で、不正確なワーピングサンプルは、2つの戦略、すなわち1）低信頼度の予測を明らかにするためのネットワークの整理、および2）ステレオ画像間の双方向マッチングによって発見されます。
– これらの領域は、最終的な疑似ステレオを形成するために塗りつぶされます。
– この追加入力の支援を受けて、好ましい3D再構築が簡単に得られ、私たちの方法は任意の3D表現と連動することができます。
– 幅広い実験により、私たちの方法が最新の単一視点視点合成法およびステレオ合成法を上回ることが示された。

要約(オリジナル)

Synthesizing novel views from a single view image is a highly ill-posed problem. We discover an effective solution to reduce the learning ambiguity by expanding the single-view view synthesis problem to a multi-view setting. Specifically, we leverage the reliable and explicit stereo prior to generate a pseudo-stereo viewpoint, which serves as an auxiliary input to construct the 3D space. In this way, the challenging novel view synthesis process is decoupled into two simpler problems of stereo synthesis and 3D reconstruction. In order to synthesize a structurally correct and detail-preserved stereo image, we propose a self-rectified stereo synthesis to amend erroneous regions in an identify-rectify manner. Hard-to-train and incorrect warping samples are first discovered by two strategies, 1) pruning the network to reveal low-confident predictions; and 2) bidirectionally matching between stereo images to allow the discovery of improper mapping. These regions are then inpainted to form the final pseudo-stereo. With the aid of this extra input, a preferable 3D reconstruction can be easily obtained, and our method can work with arbitrary 3D representations. Extensive experiments show that our method outperforms state-of-the-art single-view view synthesis methods and stereo synthesis methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI