3D-GPT: Procedural 3D Modeling with Large Language Models

要約

効率的な自動コンテンツ作成を追求する中で、変更可能なパラメータとルールベースのシステムを活用する手続き型生成が、有望なアプローチとして浮上しています。
それにもかかわらず、ルール、アルゴリズム、パラメーターについての深い理解が必要となる複雑な性質を考えると、これは困難な作業になる可能性があります。
ワークロードを軽減するために、命令駆動型 3D モデリングに大規模言語モデル (LLM) を利用するフレームワークである 3D-GPT を導入します。
3D-GPT は、LLM を熟練した問題解決者として位置づけ、手続き型 3D モデリング タスクをアクセス可能なセグメントに分割し、各タスクに適したエージェントを任命します。
3D-GPT は、タスク ディスパッチ エージェント、概念化エージェント、モデリング エージェントの 3 つのコア エージェントを統合します。
彼らは協力して 2 つの目的を達成します。
まず、最初のシーンの簡潔な説明を強化し、その後の指示に基づいてテキストを動的に調整しながら詳細な形式に進化させます。
2 番目に、プロシージャル生成を統合し、エンリッチされたテキストからパラメータ値を抽出して、アセット作成用の 3D ソフトウェアと簡単に接続します。
私たちの実証的調査により、3D-GPT が命令を解釈して実行し、信頼性の高い結果を提供するだけでなく、人間の設計者と効果的に連携することも確認されています。
さらに、Blender とシームレスに統合され、操作の可能性が広がります。
私たちの研究は、3D モデリングにおける LLM の可能性を強調し、シーン生成とアニメーションの将来の進歩のための基本的なフレームワークを提供します。

要約(オリジナル)

In the pursuit of efficient automated content creation, procedural generation, leveraging modifiable parameters and rule-based systems, emerges as a promising approach. Nonetheless, it could be a demanding endeavor, given its intricate nature necessitating a deep understanding of rules, algorithms, and parameters. To reduce workload, we introduce 3D-GPT, a framework utilizing large language models~(LLMs) for instruction-driven 3D modeling. 3D-GPT positions LLMs as proficient problem solvers, dissecting the procedural 3D modeling tasks into accessible segments and appointing the apt agent for each task. 3D-GPT integrates three core agents: the task dispatch agent, the conceptualization agent, and the modeling agent. They collaboratively achieve two objectives. First, it enhances concise initial scene descriptions, evolving them into detailed forms while dynamically adapting the text based on subsequent instructions. Second, it integrates procedural generation, extracting parameter values from enriched text to effortlessly interface with 3D software for asset creation. Our empirical investigations confirm that 3D-GPT not only interprets and executes instructions, delivering reliable results but also collaborates effectively with human designers. Furthermore, it seamlessly integrates with Blender, unlocking expanded manipulation possibilities. Our work highlights the potential of LLMs in 3D modeling, offering a basic framework for future advancements in scene generation and animation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google