Patch-based 3D Natural Scene Generation from a Single Example

要約

【タイトル】単一の例からのパッチベースの3D自然シーン生成

【要約】

– 一般的な自然シーンを対象とした3D生成モデルを目指す。
– 変化するシーン特性の存在や、必要なトレーニングデータの不足などから、既存の設定は扱いづらい。
– 2Dパッチベースのフレームワークを3D生成に拡張するためのアルゴリズム的な設計選択が重要。
– これらの設計選択は、高品質の一般的な自然シーンを大量かつ多様に生成できる堅牢で効果的かつ効率的なモデルに貢献する。
– 複数の代表的なシーンを対象にデモンストレーションを行った結果、現実的な幾何構造と視覚的な外観を持つ高品質の自然シーンを生成可能。

要約(オリジナル)

We target a 3D generative model for general natural scenes that are typically unique and intricate. Lacking the necessary volumes of training data, along with the difficulties of having ad hoc designs in presence of varying scene characteristics, renders existing setups intractable. Inspired by classical patch-based image models, we advocate for synthesizing 3D scenes at the patch level, given a single example. At the core of this work lies important algorithmic designs w.r.t the scene representation and generative patch nearest-neighbor module, that address unique challenges arising from lifting classical 2D patch-based framework to 3D generation. These design choices, on a collective level, contribute to a robust, effective, and efficient model that can generate high-quality general natural scenes with both realistic geometric structure and visual appearance, in large quantities and varieties, as demonstrated upon a variety of exemplar scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI