Cube: A Roblox View of 3D Intelligence

要約

膨大な量のデータで訓練された基礎モデルは、テキスト、画像、オーディオ、ビデオのドメインで顕著な推論と生成機能を実証しています。
Robloxでの私たちの目標は、3Dオブジェクトやシーンの生成からアニメーションのリギングまで、オブジェクトの動作を説明するプログラマティックスクリプトを作成するまで、Robloxエクスペリエンスのあらゆる側面を生成する開発者をサポートできるモデルである3D Intelligenceのこのような基盤モデルを構築することです。
このような3Dファンデーションモデルの3つの重要な設計要件について説明し、そのようなモデルの構築に向けた最初のステップを提示します。
3D幾何学的形状がコアデータ型になると予想し、3D形状トークン剤のソリューションを説明します。
テキストから形への生成、形状からテキストの生成、テキスト間生成のためのアプリケーションでトークン化スキームをどのように使用できるかを示します。
これらのアプリケーションが既存の大規模な言語モデル（LLM）と協力して、シーン分析と推論を実行する方法を示します。
最後に、3Dインテリジェンスのための完全に統一された基礎モデルを構築するための道のりの概要を説明する議論で結論付けます。

要約(オリジナル)

Foundation models trained on vast amounts of data have demonstrated remarkable reasoning and generation capabilities in the domains of text, images, audio and video. Our goal at Roblox is to build such a foundation model for 3D intelligence, a model that can support developers in producing all aspects of a Roblox experience, from generating 3D objects and scenes to rigging characters for animation to producing programmatic scripts describing object behaviors. We discuss three key design requirements for such a 3D foundation model and then present our first step towards building such a model. We expect that 3D geometric shapes will be a core data type and describe our solution for 3D shape tokenizer. We show how our tokenization scheme can be used in applications for text-to-shape generation, shape-to-text generation and text-to-scene generation. We demonstrate how these applications can collaborate with existing large language models (LLMs) to perform scene analysis and reasoning. We conclude with a discussion outlining our path to building a fully unified foundation model for 3D intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google