A little less conversation, a little more action, please: Investigating the physical common-sense of LLMs in a 3D embodied environment

要約

ラージ・ランゲージ・モデル（LLM）は、汎用的なツールとして、日常的な物理環境について推論しなければならないことが多い。質疑応答では、物理オブジェクトの相互作用を理解することが、適切な応答を与えるために必要となる。さらに、LLMはエージェントシステムの推論エンジンとして使用されることが多くなり、行動シーケンスを設計し制御する。研究の大部分は、物理世界に関するテキストや画像ベースの質問からなる静的ベンチマークを用いてこの問題に取り組んできた。しかし、これらのベンチマークは、現実の物理的プロセスの複雑さやニュアンスを捉えていない。ここでは、LLMに3D環境内のエージェントの制御を許可することによって、LLMを「具現化」するという、比較的未開拓の第2のアプローチを提唱する。我々は、LLMの物理的な常識的推論を初めて具現化し、認知的に意味のある評価を行った。我々のフレームワークにより、LLMと、深層強化学習に基づくエージェントや、人間や人間以外の動物など、他の具現化されたエージェントとの直接的な比較が可能になる。我々は、LLMの物理的な常識的推論を研究するために、3D仮想実験室をシミュレートしたAnimal-AI（AAI）環境を採用する。このために、AAIテストベッド（人間以外の動物を用いた実験室での研究を再現する一連の実験）を用いて、距離推定、視認できない物体の追跡、道具の使用などの物理的推論能力を研究する。我々は、微調整なしの最先端のマルチモーダルモデルがこのスタイルのタスクを完了できることを実証し、2019年の動物AIオリンピック大会の出場者や人間の子供との有意義な比較を可能にする。我々の結果は、LLMがこれらのタスクで人間の子供より優れていることを示している。我々は、このアプローチにより、認知科学から直接引き出された生態学的に妥当な実験を用いた物理的推論の研究が可能になり、LLMの予測可能性と信頼性が向上することを主張する。

要約(オリジナル)

As general-purpose tools, Large Language Models (LLMs) must often reason about everyday physical environments. In a question-and-answer capacity, understanding the interactions of physical objects may be necessary to give appropriate responses. Moreover, LLMs are increasingly used as reasoning engines in agentic systems, designing and controlling their action sequences. The vast majority of research has tackled this issue using static benchmarks, comprised of text or image-based questions about the physical world. However, these benchmarks do not capture the complexity and nuance of real-life physical processes. Here we advocate for a second, relatively unexplored, approach: ‘embodying’ the LLMs by granting them control of an agent within a 3D environment. We present the first embodied and cognitively meaningful evaluation of physical common-sense reasoning in LLMs. Our framework allows direct comparison of LLMs with other embodied agents, such as those based on Deep Reinforcement Learning, and human and non-human animals. We employ the Animal-AI (AAI) environment, a simulated 3D virtual laboratory, to study physical common-sense reasoning in LLMs. For this, we use the AAI Testbed, a suite of experiments that replicate laboratory studies with non-human animals, to study physical reasoning capabilities including distance estimation, tracking out-of-sight objects, and tool use. We demonstrate that state-of-the-art multi-modal models with no finetuning can complete this style of task, allowing meaningful comparison to the entrants of the 2019 Animal-AI Olympics competition and to human children. Our results show that LLMs are currently outperformed by human children on these tasks. We argue that this approach allows the study of physical reasoning using ecologically valid experiments drawn directly from cognitive science, improving the predictability and reliability of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL