Playpen: An Environment for Exploring Learning Through Conversational Interaction

要約

学習者とフィードバック提供者の間の相互作用は、モデルの応答の適切性を判断する報酬モデルの使用を通じて、大規模な言語モデル（LLM）のポストトレーニングに最近焦点を合わせました。
この論文では、口頭での行動によって主に駆動される目標指向および規則に革命された活動が、学習のためのフィードバックシグナルのソースとしても役立つかどうかを調査します。
対話ゲームの自己プレイを通じてオフオンライン学習およびオンライン学習の環境であるPlaypenを紹介し、トレーニング後の代表セットを調査します。
直接アライメント（DPO）;
GRPOによる補強学習。
トレーニング後の小さなLLM（LLAMA-3.1-8B-Instruct）を実験し、目に見えないゲームのインスタンス、目に見えないゲーム、および標準的なベンチマークでのパフォーマンスを評価します。
SFTを介した模倣学習は目に見えないインスタンスでのパフォーマンスを改善しますが、他のスキルに悪影響を及ぼし、GRPOでのインタラクティブな学習は、スキルを失うことなくバランスの取れた改善を示しています。
フレームワークとベースライントレーニングのセットアップをリリースして、（合成）相互作用における有望な新しい学習方向の研究を促進します。

要約(オリジナル)

Interaction between learner and feedback-giver has come into focus recently for post-training of Large Language Models (LLMs), through the use of reward models that judge the appropriateness of a model’s response. In this paper, we investigate whether Dialogue Games — goal-directed and rule-governed activities driven predominantly by verbal actions — can also serve as a source of feedback signals for learning. We introduce Playpen, an environment for off- and online learning through Dialogue Game self-play, and investigate a representative set of post-training methods: supervised fine-tuning; direct alignment (DPO); and reinforcement learning with GRPO. We experiment with post-training a small LLM (Llama-3.1-8B-Instruct), evaluating performance on unseen instances of training games as well as unseen games, and on standard benchmarks. We find that imitation learning through SFT improves performance on unseen instances, but negatively impacts other skills, while interactive learning with GRPO shows balanced improvements without loss of skills. We release the framework and the baseline training setups to foster research in the promising new direction of learning in (synthetic) interaction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google