ShapeCrafter: A Recursive Text-Conditioned 3D Shape Generation Model

要約

タイトル：ShapeCrafter：再帰的なテキスト条件付き3D形状生成モデル

要約：
– ShapeCrafterは、再帰的なテキスト条件付き3D形状生成のためのニューラルネットワークです。
– 既存の方法では、3D形状を生成するために全てのテキストプロンプトを1回のステップで消費します。
– しかし、人間は形状を再帰的に記述する傾向があります。
– そのため、初期の説明から進化して詳細を追加する方法を捕捉するために、初期フレーズに依存する3D形状分布を生成する方法を導入します。
– 既存のデータセットではこのアプローチのトレーニングに十分ではないため、ShapeCrafterでは、369,000のシェイプ-テキストペアで構成される大規模なデータセットText2Shape++を提供しています。
– このモデルは、高品質なシェイプの分布を生成するためにベクトル量子化された深い暗黙的関数を使用し、ローカルな詳細をキャプチャします。
– 結果として、私たちの方法は、テキストの説明に合わせた形状を生成することができます。
– また、より多くのフレーズが追加されるにつれて、形状が徐々に進化します。
– ShapeCrafterは、形状の編集や推測を可能にし、クリエイティブなデザインにおける人間と機械の協調に新しいアプリケーションを提供することができます。

要約(オリジナル)

We present ShapeCrafter, a neural network for recursive text-conditioned 3D shape generation. Existing methods to generate text-conditioned 3D shapes consume an entire text prompt to generate a 3D shape in a single step. However, humans tend to describe shapes recursively-we may start with an initial description and progressively add details based on intermediate results. To capture this recursive process, we introduce a method to generate a 3D shape distribution, conditioned on an initial phrase, that gradually evolves as more phrases are added. Since existing datasets are insufficient for training this approach, we present Text2Shape++, a large dataset of 369K shape-text pairs that supports recursive shape generation. To capture local details that are often used to refine shape descriptions, we build on top of vector-quantized deep implicit functions that generate a distribution of high-quality shapes. Results show that our method can generate shapes consistent with text descriptions, and shapes evolve gradually as more phrases are added. Our method supports shape editing, extrapolation, and can enable new applications in human-machine collaboration for creative design.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI