K-Level Reasoning: Establishing Higher Order Beliefs in Large Language Models for Strategic Reasoning

要約

戦略的推論は複雑ですが、インテリジェント エージェントにとって不可欠な機能です。
これには、Large Language Model (LLM) エージェントがマルチエージェント環境で戦略を動的に適応させる必要があります。
静的な推論タスクとは異なり、これらのコンテキストでの成功は、個々の目標を達成するために戦略を継続的に調整しながら、他のエージェントの信念や行動を予測することにかかっています。
LLM と LLM エージェントは、他者の視点を動的に推測し、変化する環境に適応することを可能にする推論フレームワークが欠如しているため、戦略的推論に苦労することがよくあります。
推論を単純な反応から構造化された戦略的深みまで拡張する、ゲーム理論と行動経済学のレベル K フレームワークに触発され、私たちは新しいフレームワーク「大規模言語モデルを使用した K レベル推論 (K-R)」を提案します。
このフレームワークは再帰的なメカニズムを採用しており、LLM がさまざまなレベルの戦略的深度を達成できるようにし、エージェントが高次の信念、つまり他人の信念についての信念を形成できるようにします。
私たちは 4 つのテストベッド (2 つの古典的なゲーム理論の問題と 2 つの社会的知性タスク) での厳密なテストを通じてこのフレームワークを検証します。
この結果は、戦略的推論における K-R の利点を示しています。
私たちの研究は、大規模言語モデル (LLM) における戦略的深度の再帰的実装を初めて示しています。
これは、LLM における心の理論と戦略的推論に関する将来の研究のための基盤を確立します。

要約(オリジナル)

Strategic reasoning is a complex yet essential capability for intelligent agents. It requires Large Language Model (LLM) agents to adapt their strategies dynamically in multi-agent environments. Unlike static reasoning tasks, success in these contexts depends on anticipating other agents’ beliefs and actions while continuously adjusting strategies to achieve individual goals. LLMs and LLM agents often struggle with strategic reasoning due to the absence of a reasoning framework that enables them to dynamically infer others’ perspectives and adapt to changing environments. Inspired by the Level-K framework from game theory and behavioral economics, which extends reasoning from simple reactions to structured strategic depth, we propose a novel framework: ‘K-Level Reasoning with Large Language Models (K-R).’ This framework employs recursive mechanisms to enable LLMs to achieve varying levels of strategic depth, allowing agents to form higher order beliefs – beliefs about others’ beliefs. We validate this framework through rigorous testing on four testbeds: two classical game theory problems and two social intelligence tasks. The results demonstrate the advantages of K-R in strategic reasoning. Our work presents the first recursive implementation of strategic depth in large language models (LLMs). It establishes a foundation for future research into theory of mind and strategic reasoning in LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google