Blocks2World: Controlling Realistic Scenes with Editable Primitives

要約

我々は、画像の凸分解と条件付き合成という 2 段階のプロセスを利用する、3D シーンのレンダリングと編集のための新しい方法である Blocks2World を紹介します。
私たちの技術は、凸分解を使用して特定のシーン内のさまざまなオブジェクトから 3D 平行六面体を抽出することから始まり、それによってシーンのプリミティブ表現を取得します。
これらのプリミティブは、単純なレイトレース深度マップを通じてペアのデータを生成するために利用されます。
次の段階では、2D レンダリングされた凸プリミティブから画像を生成する方法を学習する条件付きモデルをトレーニングします。
このステップでは、3D モデルとその 2D 表現の間の直接マッピングを確立し、3D モデルから画像への遷移を効果的に学習します。
モデルが完全にトレーニングされると、新規シーンや編集されたシーンの合成を大幅に制御できるようになります。
これは、プリミティブの変換や追加など、テスト時にプリミティブを操作することで実現され、高度にカスタマイズ可能なシーン レンダリング プロセスが可能になります。
私たちの方法は、3D シーンのレンダリングと編集に新たな視点を提供し、制御と柔軟性を提供します。
オーサリングやデータ拡張など、この分野での研究や応用に新たな道を切り開きます。

要約(オリジナル)

We present Blocks2World, a novel method for 3D scene rendering and editing that leverages a two-step process: convex decomposition of images and conditioned synthesis. Our technique begins by extracting 3D parallelepipeds from various objects in a given scene using convex decomposition, thus obtaining a primitive representation of the scene. These primitives are then utilized to generate paired data through simple ray-traced depth maps. The next stage involves training a conditioned model that learns to generate images from the 2D-rendered convex primitives. This step establishes a direct mapping between the 3D model and its 2D representation, effectively learning the transition from a 3D model to an image. Once the model is fully trained, it offers remarkable control over the synthesis of novel and edited scenes. This is achieved by manipulating the primitives at test time, including translating or adding them, thereby enabling a highly customizable scene rendering process. Our method provides a fresh perspective on 3D scene rendering and editing, offering control and flexibility. It opens up new avenues for research and applications in the field, including authoring and data augmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google