LLMR: Real-time Prompting of Interactive Worlds using Large Language Models

要約

我々は、LLM を使用したインタラクティブな Mixed Reality エクスペリエンスのリアルタイム作成と変更のためのフレームワークである、Mixed Reality のためのラージ言語モデル (LLMR) を紹介します。
LLMR は、新しい戦略を活用して、理想的なトレーニング データが不足している場合や、設計目標で内部ダイナミクスの統合、直感的な分析、または高度な対話性が必要な場合の困難なケースに取り組みます。
私たちのフレームワークはテキスト インタラクションと Unity ゲーム エンジンに依存しています。
LLMR は、シーンの理解、タスク計画、セルフデバッグ、メモリ管理の技術を組み込むことにより、平均エラー率で標準 GPT-4 を 4 倍上回ります。
LLMR のクロスプラットフォームの相互運用性をいくつかのサンプルワールドで実証し、さまざまな作成および変更タスクで評価して、多様なオブジェクト、ツール、シーンを作成および編集できることを示します。
最後に、多様なセットを使用してユーザビリティ調査 (N=11) を実施しました。その結果、参加者がシステムで肯定的な経験をしており、再度使用することが明らかになりました。

要約(オリジナル)

We present Large Language Model for Mixed Reality (LLMR), a framework for the real-time creation and modification of interactive Mixed Reality experiences using LLMs. LLMR leverages novel strategies to tackle difficult cases where ideal training data is scarce, or where the design goal requires the synthesis of internal dynamics, intuitive analysis, or advanced interactivity. Our framework relies on text interaction and the Unity game engine. By incorporating techniques for scene understanding, task planning, self-debugging, and memory management, LLMR outperforms the standard GPT-4 by 4x in average error rate. We demonstrate LLMR’s cross-platform interoperability with several example worlds, and evaluate it on a variety of creation and modification tasks to show that it can produce and edit diverse objects, tools, and scenes. Finally, we conducted a usability study (N=11) with a diverse set that revealed participants had positive experiences with the system and would use it again.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google