A little less conversation, a little more action, please: Investigating the physical common-sense of LLMs in a 3D embodied environment

要約

大規模言語モデル (LLM) は汎用ツールとして、日常の物理環境について推論する必要があることがよくあります。
質疑応答の場合、適切な応答をするには、物理​​的なオブジェクトの相互作用を理解することが必要になる場合があります。
さらに、LLM はエージェント システムの推論エンジンとして使用され、アクション シーケンスを設計および制御することが増えています。
研究の大部分は、物理世界に関するテキストまたは画像ベースの質問で構成される静的ベンチマークを使用して、この問題に取り組んできました。
ただし、これらのベンチマークは、現実の物理プロセスの複雑さと微妙な違いを捉えていません。
ここでは、比較的未開発の 2 番目のアプローチを提唱します。それは、3D 環境内でエージェントの制御を LLM に許可することで、LLM を「具体化」することです。
我々は、LLM における物理的常識推論の具体化された認知的に意味のある評価を初めて提示します。
私たちのフレームワークでは、LLM を、深層強化学習に基づくエージェントや人間および人間以外の動物などの他の身体化エージェントと直接比較することができます。
私たちは、LLM における物理的常識推論を研究するために、シミュレートされた 3D 仮想実験室である Animal-AI (AAI) 環境を採用しています。
このために、人間以外の動物を使った実験室研究を再現する一連の実験である AAI テストベッドを使用して、距離推定、視界外のオブジェクトの追跡、ツールの使用などの物理的推論能力を研究します。
私たちは、微調整を必要としない最先端のマルチモーダル モデルがこのスタイルのタスクを完了できることを実証し、2019 年の動物 AI オリンピック競技会の参加者や人間の子供との有意義な比較を可能にします。
私たちの結果は、LLM がこれらのタスクにおいて人間の子供よりも現時点で優れていることを示しています。
私たちは、このアプローチにより、認知科学から直接引き出された生態学的に有効な実験を使用した物理的推論の研究が可能になり、LLM の予測可能性と信頼性が向上すると主張します。

要約(オリジナル)

As general-purpose tools, Large Language Models (LLMs) must often reason about everyday physical environments. In a question-and-answer capacity, understanding the interactions of physical objects may be necessary to give appropriate responses. Moreover, LLMs are increasingly used as reasoning engines in agentic systems, designing and controlling their action sequences. The vast majority of research has tackled this issue using static benchmarks, comprised of text or image-based questions about the physical world. However, these benchmarks do not capture the complexity and nuance of real-life physical processes. Here we advocate for a second, relatively unexplored, approach: ‘embodying’ the LLMs by granting them control of an agent within a 3D environment. We present the first embodied and cognitively meaningful evaluation of physical common-sense reasoning in LLMs. Our framework allows direct comparison of LLMs with other embodied agents, such as those based on Deep Reinforcement Learning, and human and non-human animals. We employ the Animal-AI (AAI) environment, a simulated 3D virtual laboratory, to study physical common-sense reasoning in LLMs. For this, we use the AAI Testbed, a suite of experiments that replicate laboratory studies with non-human animals, to study physical reasoning capabilities including distance estimation, tracking out-of-sight objects, and tool use. We demonstrate that state-of-the-art multi-modal models with no finetuning can complete this style of task, allowing meaningful comparison to the entrants of the 2019 Animal-AI Olympics competition and to human children. Our results show that LLMs are currently outperformed by human children on these tasks. We argue that this approach allows the study of physical reasoning using ecologically valid experiments drawn directly from cognitive science, improving the predictability and reliability of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google