Grounding Large Language Models In Embodied Environment With Imperfect World Models

要約

大規模言語モデル (LLM) は、さまざまなアプリケーションで広く成功を収めているにもかかわらず、基本的な物理的推論に取り組んだり、ロボットタスクを実行したりするときにつまずくことがよくあります。これは、現実世界の物理的なニュアンスに関する直接的な経験が不足しているためです。
これらの問題に対処するために、シミュレーターなどのプロキシワールドモデルを利用してトレーニングデータを収集および合成する、Imperfect world MODel (GLIMO) を備えた Grounding Large 言語モデルを提案します。
GLIMO には、LLM エージェントベースのデータジェネレーターが組み込まれており、高品質で多様な指示データセットを自動的に作成します。
このジェネレータには、時間的に一貫した経験サンプリングのための反復的自己洗練モジュール、質問応答命令シードの多様なセット、および以前の経験を反映するための検索拡張生成モジュールが含まれています。
包括的な実験の結果、私たちのアプローチは LLaMA-3 のような強力なオープンソース LLM のパフォーマンスを向上させ、3 つの異なるベンチマークでそれぞれ 2.04 $\times$、1.54 $\times$、1.82 $\times$ のパフォーマンス向上をもたらしたことがわかりました。
そのパフォーマンスは、GPT-4 などのより大きな同等の製品と競合するか、それを上回ることができます。

要約(オリジナル)

Despite a widespread success in various applications, large language models (LLMs) often stumble when tackling basic physical reasoning or executing robotics tasks, due to a lack of direct experience with the physical nuances of the real world. To address these issues, we propose a Grounding Large language model with Imperfect world MOdel (GLIMO), which utilizes proxy world models such as simulators to collect and synthesize trining data. GLIMO incorporates an LLM agent-based data generator to automatically create high-quality and diverse instruction datasets. The generator includes an iterative self-refining module for temporally consistent experience sampling, a diverse set of question-answering instruction seeds, and a retrieval-augmented generation module for reflecting on prior experiences. Comprehensive experiments show that our approach improve the performance of strong open-source LLMs like LLaMA-3 with a performance boost of 2.04 $\times$, 1.54 $\times$, and 1.82 $\times$ across three different benchmarks, respectively. The performance is able to compete with or surpass their larger counterparts such as GPT-4.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google