Self-playing Adversarial Language Game Enhances LLM Reasoning

要約

敵対的なタブーと呼ばれる2プレイヤーの敵対言語ゲームで、大規模な言語モデル（LLMS）の自己プレイトレーニングの可能性を探ります。
このゲームでは、攻撃者とディフェンダーが攻撃者にのみ見えるターゲットワードを中心に通信します。
攻撃者は、ディフェンダーが攻撃者の発言からターゲットワードを推測しようとする一方で、ディフェンダーにターゲットワードを無意識に話すように誘導することを目指しています。
ゲームに勝つためには、両方のプレイヤーがターゲットワードについて十分な知識と、この情報返済された会話で推測して表現する高レベルの推論能力を持っている必要があります。
したがって、この敵対言語ゲーム（SPAG）を自己プレイすることで、LLMSの推論能力をさらに強化できるかどうかに興味があります。
この目標を使用して、いくつかのオープンソースLLMSを選択し、それぞれが攻撃者として行動し、広範なターゲットワードでディフェンダーとして自分自身のコピーをプレイします。
ゲームの成果に関する強化学習を通じて、LLMSのパフォーマンスは、幅広い推論ベンチマークで均一に改善されることを観察します。
さらに、この自己プレイプロセスを繰り返し採用すると、LLMSの推論能力を継続的に促進できます。
コードはhttps://github.com/linear95/spagで入手できます。

要約(オリジナル)

We explore the potential of self-play training for large language models (LLMs) in a two-player adversarial language game called Adversarial Taboo. In this game, an attacker and a defender communicate around a target word only visible to the attacker. The attacker aims to induce the defender to speak the target word unconsciously, while the defender tries to infer the target word from the attacker’s utterances. To win the game, both players must have sufficient knowledge about the target word and high-level reasoning ability to infer and express in this information-reserved conversation. Hence, we are curious about whether LLMs’ reasoning ability can be further enhanced by Self-Playing this Adversarial language Game (SPAG). With this goal, we select several open-source LLMs and let each act as the attacker and play with a copy of itself as the defender on an extensive range of target words. Through reinforcement learning on the game outcomes, we observe that the LLMs’ performances uniformly improve on a broad range of reasoning benchmarks. Furthermore, iteratively adopting this self-play process can continuously promote LLMs’ reasoning abilities. The code is available at https://github.com/Linear95/SPAG.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google