DreamCraft: Text-Guided Generation of Functional 3D Environments in Minecraft

要約

手続き型コンテンツ生成 (PCG) アルゴリズムにより、複雑で多様な成果物の自動生成が可能になります。
ただし、生成されたコンテンツに対する高度な制御は提供されず、通常はドメインの専門知識が必要です。
対照的に、text-to-3D 手法では、ユーザーが自然言語で必要な特性を指定できるため、高い柔軟性と表現力が得られます。
ただし、PCG とは異なり、このようなアプローチでは、ゲーム デザインなどの特定のアプリケーションにとって重要な機能を保証できません。
この論文では、オープンワールド ゲーム Minecraft の自由形式のテキスト プロンプトから機能的な 3D アーティファクトを生成する方法を紹介します。
私たちの手法である DreamCraft は、量子化されたニューラル ラディアンス フィールド (NeRF) をトレーニングして、ゲーム内で表示されたときに指定されたテキストの説明と一致するアーティファクトを表現します。
DreamCraft は、制約のない NeRF の出力を後処理するベースラインよりも、より調整されたゲーム内アーティファクトを生成することがわかりました。
環境の量子化表現のおかげで、特殊な損失項を使用して機能上の制約を統合できます。
これを利用して、ターゲットの分布に一致する、またはブロック タイプに対する特定の隣接ルールに従う 3D 構造を生成する方法を示します。
DreamCraft は、NeRF から高度な表現力と制御性を継承しながら、ドメイン固有の目的を通じて機能上の制約を組み込むことができます。

要約(オリジナル)

Procedural Content Generation (PCG) algorithms enable the automatic generation of complex and diverse artifacts. However, they don’t provide high-level control over the generated content and typically require domain expertise. In contrast, text-to-3D methods allow users to specify desired characteristics in natural language, offering a high amount of flexibility and expressivity. But unlike PCG, such approaches cannot guarantee functionality, which is crucial for certain applications like game design. In this paper, we present a method for generating functional 3D artifacts from free-form text prompts in the open-world game Minecraft. Our method, DreamCraft, trains quantized Neural Radiance Fields (NeRFs) to represent artifacts that, when viewed in-game, match given text descriptions. We find that DreamCraft produces more aligned in-game artifacts than a baseline that post-processes the output of an unconstrained NeRF. Thanks to the quantized representation of the environment, functional constraints can be integrated using specialized loss terms. We show how this can be leveraged to generate 3D structures that match a target distribution or obey certain adjacency rules over the block types. DreamCraft inherits a high degree of expressivity and controllability from the NeRF, while still being able to incorporate functional constraints through domain-specific objectives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google