Multi-agent KTO: Reinforcing Strategic Interactions of Large Language Model in Language Game

要約

人工的な一般情報を達成する(AGI)には、階層的な決定を下すことができるだけでなく、柔軟で意味のあるコミュニケーションにも関与するAIエージェントが必要です。
哲学的調査におけるウィットゲンシュタインの言語ゲーム理論に触発された私たちは、言語エージェントが言語表現から意思決定を分離する従来のマルチステージフレームワークではなく、コンテキスト内の相互作用を通じて学習できることを提案します。
言語の理解、戦略的相互作用、および適応性をテストするソーシャル控除ゲームであるWedwolfを使用して、マルチエージェントKahneman&Tverskyの最適化(MAKTO)を開発します。
Maktoは、多様なモデルを広範なゲームプレイで取り組んで、望ましくない望ましくない、容認できない応答を生成し、KTOを使用してモデルの意思決定プロセスを改良します。
9プレイヤーの狼男ゲームでは、Maktoはさまざまなモデルで61%の平均勝利率を達成し、GPT-4Oと2段階のRLエージェントをそれぞれ23.0%と10.9%の相対的な改善により上回ります。
特に、Maktoは人間のようなパフォーマンスを発揮し、エキスパートプレーヤーに対して60%を獲得し、チューリングスタイルのブラインドテストで49%の検出可能性のみを示しています。
これらの結果は、複雑な社会的控除ゲームにおけるマクトの優れた意思決定、戦略的適応、および自然言語生成を紹介します。

要約(オリジナル)

Achieving Artificial General Intelligence (AGI) requires AI agents that can not only make stratigic decisions but also engage in flexible and meaningful communication. Inspired by Wittgenstein’s language game theory in Philosophical Investigations, we propose that language agents can learn through in-context interaction rather than traditional multi-stage frameworks that separate decision-making from language expression. Using Werewolf, a social deduction game that tests language understanding, strategic interaction, and adaptability, we develop the Multi-agent Kahneman & Tversky’s Optimization (MaKTO). MaKTO engages diverse models in extensive gameplay to generate unpaired desirable and unacceptable responses, then employs KTO to refine the model’s decision-making process. In 9-player Werewolf games, MaKTO achieves a 61% average win rate across various models, outperforming GPT-4o and two-stage RL agents by relative improvements of 23.0% and 10.9%, respectively. Notably, MaKTO also demonstrates human-like performance, winning 60% against expert players and showing only 49% detectability in Turing-style blind tests. These results showcase MaKTO’s superior decision-making, strategic adaptation, and natural language generation in complex social deduction games.

arxiv情報

著者 Rong Ye,Yongxin Zhang,Yikai Zhang,Haoyu Kuang,Zhongyu Wei,Peng Sun
発行日 2025-01-24 04:09:03+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.HC パーマリンク