Language Models, Agent Models, and World Models: The LAW for Machine Reasoning and Planning

要約

大規模な言語モデルは、多くのアプリケーションで多大な成功を収めているにもかかわらず、推論、学習、モデリング能力に固有の制限があるため、さまざまな (言語、身体的、社会的) シナリオにおいて一貫した推論や計画ができないことがよくあります。
このポジションペーパーでは、より堅牢で汎用性の高い推論機能を実現するために、言語モデル、エージェントモデル、ワールドモデルの概念を結びつける機械推論の新しい視点であるLAWを紹介します。
特に、世界とエージェントのモデルは推論のより良い抽象化であり、世界と他のエージェントについての信念、結果の予測、目標/報酬、戦略計画など、意図的な人間のような推論の重要な要素を導入することを提案します。
重要なのは、LAW の言語モデルはシステムまたはその要素を実装するバックエンドとして機能し、計算能力と適応性を提供することです。
関連する進歩を遂げた最近の研究をレビューし、LAW フレームワークの運用化に向けた今後の研究の方向性について議論します。

要約(オリジナル)

Despite their tremendous success in many applications, large language models often fall short of consistent reasoning and planning in various (language, embodied, and social) scenarios, due to inherent limitations in their inference, learning, and modeling capabilities. In this position paper, we present a new perspective of machine reasoning, LAW, that connects the concepts of Language models, Agent models, and World models, for more robust and versatile reasoning capabilities. In particular, we propose that world and agent models are a better abstraction of reasoning, that introduces the crucial elements of deliberate human-like reasoning, including beliefs about the world and other agents, anticipation of consequences, goals/rewards, and strategic planning. Crucially, language models in LAW serve as a backend to implement the system or its elements and hence provide the computational power and adaptability. We review the recent studies that have made relevant progress and discuss future research directions towards operationalizing the LAW framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google