SAMPLING: Scene-adaptive Hierarchical Multiplane Images Representation for Novel View Synthesis from a Single Image

要約

最近の新しいビュー合成手法は、屋内環境や少数のオブジェクトを含むシーンなど、比較的小規模なシーンでは有望な結果が得られますが、入力として単一の画像を使用する境界のない屋外シーンでは失敗する傾向があります。
この論文では、改良されたマルチプレーン画像 (MPI) に基づいた単一画像からの新しいビュー合成のためのシーン適応型階層マルチプレーン画像表現である SAMPLING を紹介します。
境界のない屋外シーンでは深度分布が大幅に変化することを観察し、MPI の適応ビン戦略を採用して、各シーンの画像に従ってプレーンを配置します。
複雑なジオメトリとマルチスケールの詳細を表現するために、階層的洗練ブランチをさらに導入し、高品質の合成された新しいビューが得られます。
私たちの方法は、KITTI データセット上の 1 つの画像を使用して大規模な境界のない屋外シーンを合成する際に大幅なパフォーマンスの向上を示し、目に見えない戦車と寺院のデータセットによく一般化します。
コードとモデルは公開されます。

要約(オリジナル)

Recent novel view synthesis methods obtain promising results for relatively small scenes, e.g., indoor environments and scenes with a few objects, but tend to fail for unbounded outdoor scenes with a single image as input. In this paper, we introduce SAMPLING, a Scene-adaptive Hierarchical Multiplane Images Representation for Novel View Synthesis from a Single Image based on improved multiplane images (MPI). Observing that depth distribution varies significantly for unbounded outdoor scenes, we employ an adaptive-bins strategy for MPI to arrange planes in accordance with each scene image. To represent intricate geometry and multi-scale details, we further introduce a hierarchical refinement branch, which results in high-quality synthesized novel views. Our method demonstrates considerable performance gains in synthesizing large-scale unbounded outdoor scenes using a single image on the KITTI dataset and generalizes well to the unseen Tanks and Temples dataset. The code and models will be made public.

arxiv情報

著者 Xiaoyu Zhou,Zhiwei Lin,Xiaojun Shan,Yongtao Wang,Deqing Sun,Ming-Hsuan Yang
発行日 2023-09-12 15:33:09+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV パーマリンク