Grounding Large Language Models In Embodied Environment With Imperfect World Models

要約

様々なアプリケーションで広く成功を収めているにもかかわらず、大規模言語モデル（LLM）は、現実世界の物理的なニュアンスに対する直接的な経験が不足しているため、基本的な物理推論やロボティクスタスクの実行に取り組む際につまずくことが多い。このような問題に対処するため、我々は、シミュレータのような代理世界モデルを利用し、トライングデータを収集・合成するGLIMO（Grounding Large language model with Imperfect world MOdel）を提案する。GLIMOはLLMエージェントベースのデータジェネレータを組み込み、高品質で多様な命令データセットを自動的に作成する。この生成器には、時間的に一貫性のある経験サンプリングのための反復的な自己精錬モジュール、多様な質問応答インストラクションのシードセット、および過去の経験を反映するための検索補強型生成モジュールが含まれる。包括的な実験により、我々のアプローチが、LLaMA-3のような強力なオープンソースLLMの性能を向上させ、3つの異なるベンチマークでそれぞれ2.04 $times$、1.54 $times$、1.82 $times$の性能向上を示した。この性能は、GPT-4のような大規模なLLMに匹敵するか、凌駕する。

要約(オリジナル)

Despite a widespread success in various applications, large language models (LLMs) often stumble when tackling basic physical reasoning or executing robotics tasks, due to a lack of direct experience with the physical nuances of the real world. To address these issues, we propose a Grounding Large language model with Imperfect world MOdel (GLIMO), which utilizes proxy world models such as simulators to collect and synthesize trining data. GLIMO incorporates an LLM agent-based data generator to automatically create high-quality and diverse instruction datasets. The generator includes an iterative self-refining module for temporally consistent experience sampling, a diverse set of question-answering instruction seeds, and a retrieval-augmented generation module for reflecting on prior experiences. Comprehensive experiments show that our approach improve the performance of strong open-source LLMs like LLaMA-3 with a performance boost of 2.04 $\times$, 1.54 $\times$, and 1.82 $\times$ across three different benchmarks, respectively. The performance is able to compete with or surpass their larger counterparts such as GPT-4.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL