Factorized and Controllable Neural Re-Rendering of Outdoor Scene for Photo Extrapolation

要約

既存の観光写真を部分的にキャプチャされたシーンから完全なシーンに拡張することは、写真アプリケーションにとって望ましい体験の1つです。
写真の外挿は十分に研究されていますが、同様の視覚スタイルを維持しながら、狭い視野から広い視野に写真（つまり、自分撮り）を外挿することははるかに困難です。
この論文では、ファクタリングされたニューラル再レンダリングモデルを提案して、雑然とした屋外インターネット写真コレクションからフォトリアリスティックな斬新なビューを生成します。これにより、制御可能なシーンの再レンダリング、写真の外挿、さらには外挿された3D写真の生成などのアプリケーションが可能になります。
具体的には、最初に、ジオメトリ、外観、および照明の分解におけるあいまいさを処理するために、新しい因数分解された再レンダリングパイプラインを開発します。
また、インターネット画像の予期しないオクルージョンに対処するための複合トレーニング戦略を提案します。
さらに、観光客の写真を外挿する際のフォトリアリズムを強化するために、外観の詳細を補完する新しいリアリズム拡張プロセスを提案します。これにより、狭いキャプチャ写真から外挿されたニューラルレンダリング画像にテクスチャの詳細が自動的に伝播されます。
屋外シーンでの実験と写真編集の例は、フォトリアリズムとダウンストリームアプリケーションの両方で提案された方法の優れたパフォーマンスを示しています。

要約(オリジナル)

Expanding an existing tourist photo from a partially captured scene to a full scene is one of the desired experiences for photography applications. Although photo extrapolation has been well studied, it is much more challenging to extrapolate a photo (i.e., selfie) from a narrow field of view to a wider one while maintaining a similar visual style. In this paper, we propose a factorized neural re-rendering model to produce photorealistic novel views from cluttered outdoor Internet photo collections, which enables the applications including controllable scene re-rendering, photo extrapolation and even extrapolated 3D photo generation. Specifically, we first develop a novel factorized re-rendering pipeline to handle the ambiguity in the decomposition of geometry, appearance and illumination. We also propose a composited training strategy to tackle the unexpected occlusion in Internet images. Moreover, to enhance photo-realism when extrapolating tourist photographs, we propose a novel realism augmentation process to complement appearance details, which automatically propagates the texture details from a narrow captured photo to the extrapolated neural rendered image. The experiments and photo editing examples on outdoor scenes demonstrate the superior performance of our proposed method in both photo-realism and downstream applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google