SAMPLING: Scene-adaptive Hierarchical Multiplane Images Representation for Novel View Synthesis from a Single Image

要約

最近の新しいビュー合成手法は、屋内環境や少数のオブジェクトを含むシーンなど、比較的小規模なシーンでは有望な結果が得られますが、入力として単一の画像を使用する境界のない屋外シーンでは失敗する傾向があります。
この論文では、改良されたマルチプレーン画像 (MPI) に基づいた単一画像からの新しいビュー合成のためのシーン適応型階層マルチプレーン画像表現である SAMPLING を紹介します。
境界のない屋外シーンでは深度分布が大幅に変化することを観察し、MPI の適応ビン戦略を採用して、各シーンの画像に従ってプレーンを配置します。
複雑なジオメトリとマルチスケールの詳細を表現するために、階層的洗練ブランチをさらに導入し、高品質の合成された新しいビューが得られます。
私たちの方法は、KITTI データセット上の 1 つの画像を使用して大規模な境界のない屋外シーンを合成する際に大幅なパフォーマンスの向上を示し、目に見えない戦車と寺院のデータセットによく一般化します。
コードとモデルは公開されます。

要約(オリジナル)

Recent novel view synthesis methods obtain promising results for relatively small scenes, e.g., indoor environments and scenes with a few objects, but tend to fail for unbounded outdoor scenes with a single image as input. In this paper, we introduce SAMPLING, a Scene-adaptive Hierarchical Multiplane Images Representation for Novel View Synthesis from a Single Image based on improved multiplane images (MPI). Observing that depth distribution varies significantly for unbounded outdoor scenes, we employ an adaptive-bins strategy for MPI to arrange planes in accordance with each scene image. To represent intricate geometry and multi-scale details, we further introduce a hierarchical refinement branch, which results in high-quality synthesized novel views. Our method demonstrates considerable performance gains in synthesizing large-scale unbounded outdoor scenes using a single image on the KITTI dataset and generalizes well to the unseen Tanks and Temples dataset. The code and models will be made public.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google