Can Large Language Models Adapt to Other Agents In-Context?

要約

研究コミュニティは、対話する人間の多様性に合わせてより動的でパーソナライズされた、より優れた AI アシスタントの構築を目指しているため、大規模言語モデル (LLM) の心の機能の理論を評価することへの関心が高まっています。
実際、いくつかの最近の研究では、LLM 理論の心の能力は非常に優れており、人間レベルのパフォーマンスに近いことが示唆されています。
私たちの論文はこの説を叱責することを目的としており、代わりに、過去の研究はエージェントのパフォーマンスを直接測定しておらず、結果として本質的に幻想的な発見につながる可能性があると主張しています。
私たちは、いわゆる文字通りの心の理論、つまり他者の行動を予測するエージェントの能力を測定するものと、機能的な心の理論、つまり行動の予測に対する合理的な反応に基づいて状況に応じてエージェントに適応することを明確に区別しています。
私たちは、トップパフォーマンスのオープンソース LLM は、どのように促されるかに応じて、文字通りの心の理論では強力な能力を発揮するかもしれないが、パートナーのポリシーが非常に単純である場合でも、機能的な心の理論では苦戦しているようであることがわかりました。
私たちの研究は、新しい状況に適応する際の LLM の誘導バイアスの両面の性質を強調するのに役立ちます。
このバイアスは、限られた期間にわたって優れたパフォーマンスをもたらす可能性がありますが、多くの場合、最適な長期的な動作への収束を妨げます。

要約(オリジナル)

As the research community aims to build better AI assistants that are more dynamic and personalized to the diversity of humans that they interact with, there is increased interest in evaluating the theory of mind capabilities of large language models (LLMs). Indeed, several recent studies suggest that LLM theory of mind capabilities are quite impressive, approximating human-level performance. Our paper aims to rebuke this narrative and argues instead that past studies were not directly measuring agent performance, potentially leading to findings that are illusory in nature as a result. We draw a strong distinction between what we call literal theory of mind i.e. measuring the agent’s ability to predict the behavior of others and functional theory of mind i.e. adapting to agents in-context based on a rational response to predictions of their behavior. We find that top performing open source LLMs may display strong capabilities in literal theory of mind, depending on how they are prompted, but seem to struggle with functional theory of mind — even when partner policies are exceedingly simple. Our work serves to highlight the double sided nature of inductive bias in LLMs when adapting to new situations. While this bias can lead to strong performance over limited horizons, it often hinders convergence to optimal long-term behavior.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google