Strategic Reasoning with Language Models

要約

戦略的推論により、エージェントはさまざまな状況で協力し、コミュニケーションし、他のエージェントと競争することができます。
戦略的ゲームを解決するための既存のアプローチは広範なトレーニングに依存しており、再トレーニングなしでは新しいシナリオやゲームに一般化できない戦略が生成されます。
大規模言語モデル (LLM) は、複雑でコンテキストに富んだ言語を理解して生成する能力を備えており、戦略的なゲームプレイのためのツールとして強力であることが証明される可能性があります。
このペーパーでは、AI エージェントの戦略的推論を可能にする、少数のショットの思考連鎖の例を持つ事前トレーニング済み LLM を使用するアプローチを紹介します。
私たちのアプローチは、モデルを促すために、状態、価値観、信念について体系的に生成された推論のデモンストレーションを使用します。
単純なマトリックス ゲームの広範なバリエーションを使用して、体系的に生成されたプロンプトに基づいて導き出される戦略が、新しいゲーム構造、代替目標、隠された情報にほぼ完全に一般化されることを示します。
さらに、私たちのアプローチは、追加のトレーニングや微調整を必要とせずに、現実的なシナリオで人間のような交渉戦略を導き出せることを実証します。
私たちの結果は、系統的な推論のデモンストレーションに導かれて、LLM が多様な戦略シナリオに適応し、優れた能力を発揮できることを浮き彫りにしています。

要約(オリジナル)

Strategic reasoning enables agents to cooperate, communicate, and compete with other agents in diverse situations. Existing approaches to solving strategic games rely on extensive training, yielding strategies that do not generalize to new scenarios or games without retraining. Large Language Models (LLMs), with their ability to comprehend and generate complex, context-rich language, could prove powerful as tools for strategic gameplay. This paper introduces an approach that uses pretrained LLMs with few-shot chain-of-thought examples to enable strategic reasoning for AI agents. Our approach uses systematically generated demonstrations of reasoning about states, values, and beliefs to prompt the model. Using extensive variations of simple matrix games, we show that strategies that are derived based on systematically generated prompts generalize almost perfectly to new game structures, alternate objectives, and hidden information. Additionally, we demonstrate our approach can lead to human-like negotiation strategies in realistic scenarios without any extra training or fine-tuning. Our results highlight the ability of LLMs, guided by systematic reasoning demonstrations, to adapt and excel in diverse strategic scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google