ShapeCrafter: A Recursive Text-Conditioned 3D Shape Generation Model

要約

再帰的なテキスト条件付き 3D 形状生成用のニューラル ネットワークである ShapeCrafter を紹介します。
テキスト条件付きの 3D 形状を生成する既存の方法は、テキスト プロンプト全体を消費して、1 つのステップで 3D 形状を生成します。
ただし、人間は形状を再帰的に記述する傾向があります。最初の記述から始めて、中間結果に基づいて徐々に詳細を追加する場合があります。
この再帰的なプロセスを捉えるために、最初のフレーズを条件として 3D 形状分布を生成する方法を導入します。これは、より多くのフレーズが追加されるにつれて徐々に進化します。
既存のデータセットはこのアプローチをトレーニングするには不十分であるため、再帰的な形状生成をサポートする 369K の形状とテキストのペアの大規模なデータセットである Text2Shape++ を提示します。
形状の説明を洗練するためによく使用される局所的な詳細をキャプチャするために、高品質の形状の分布を生成するベクトル量子化された深い陰関数の上に構築します。
結果は、私たちの方法がテキストの説明と一致する形状を生成できること、およびより多くのフレーズが追加されるにつれて形状が徐々に進化することを示しています。
私たちの方法は、形状の編集、外挿をサポートし、創造的なデザインのための人間と機械のコラボレーションにおける新しいアプリケーションを可能にします。

要約(オリジナル)

We present ShapeCrafter, a neural network for recursive text-conditioned 3D shape generation. Existing methods to generate text-conditioned 3D shapes consume an entire text prompt to generate a 3D shape in a single step. However, humans tend to describe shapes recursively-we may start with an initial description and progressively add details based on intermediate results. To capture this recursive process, we introduce a method to generate a 3D shape distribution, conditioned on an initial phrase, that gradually evolves as more phrases are added. Since existing datasets are insufficient for training this approach, we present Text2Shape++, a large dataset of 369K shape-text pairs that supports recursive shape generation. To capture local details that are often used to refine shape descriptions, we build on top of vector-quantized deep implicit functions that generate a distribution of high-quality shapes. Results show that our method can generate shapes consistent with text descriptions, and shapes evolve gradually as more phrases are added. Our method supports shape editing, extrapolation, and can enable new applications in human-machine collaboration for creative design.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google