Retrieval-Augmented Code Generation for Situated Action Generation: A Case Study on Minecraft

要約

Minecraft の共同建築タスクでは、2 人のプレイヤーが協力します。建築家 (A) が建築者 (B) に指示を出し、3D ブロックを使用して指定された構造物を組み立てます。
この研究では、Builder が実行する一連のアクションを予測するための大規模言語モデル (LLM) の使用を調査します。
LLM のコンテキスト内学習能力を活用して、ベースライン手法と比較してパフォーマンスを大幅に向上させる、少数ショット プロンプト手法を使用します。
さらに、将来の作業に向けて、パフォーマンスのギャップに関する詳細な分析を示します。

要約(オリジナル)

In the Minecraft Collaborative Building Task, two players collaborate: an Architect (A) provides instructions to a Builder (B) to assemble a specified structure using 3D blocks. In this work, we investigate the use of large language models (LLMs) to predict the sequence of actions taken by the Builder. Leveraging LLMs’ in-context learning abilities, we use few-shot prompting techniques, that significantly improve performance over baseline methods. Additionally, we present a detailed analysis of the gaps in performance for future work

arxiv情報

提供元, 利用サービス

arxiv.jp, Google