Towards Developmentally Plausible Rewards: Communicative Success as a Learning Signal for Interactive Language Models

要約

子供の言語習得に触発されたインタラクティブな設定で言語モデルをトレーニングする方法を提案します。
私たちの設定では、スピーカーは、1回のターンダイアログでいくつかの情報をリスナーに伝えようとし、コミュニケーションの成功が達成された場合に報酬を受け取ります。
画像を使用した以前の関連作業（インタラクティブリファレンスゲーム用のキャプションデータとは異なり、コミュニケーションの成功を、より抽象的な言語のみの質問 – 回答設定で運用します。
まず、私たちの報酬が文法性に関する間接的な信号を提供することを示す実現可能性調査を提示します。
第二に、補強学習を使用して言語モデルを微調整する実験を実施します。
通信チャネルに対する認知的にもっともらしい制約が、スピーカーの動作の解釈可能な変化につながることを観察します。
ただし、トレーニング体制からの言語評価の改善はまだ見られません。
潜在的な変更をタスクの設計とトレーニング構成の概要を説明します。これにより、将来の作業をより適切に位置付けて、計算認知モデルにおける言語学習に関する相互作用の利点を観察します。

要約(オリジナル)

We propose a method for training language models in an interactive setting inspired by child language acquisition. In our setting, a speaker attempts to communicate some information to a listener in a single-turn dialogue and receives a reward if communicative success is achieved. Unlike earlier related work using image–caption data for interactive reference games, we operationalize communicative success in a more abstract language-only question–answering setting. First, we present a feasibility study demonstrating that our reward provides an indirect signal about grammaticality. Second, we conduct experiments using reinforcement learning to fine-tune language models. We observe that cognitively plausible constraints on the communication channel lead to interpretable changes in speaker behavior. However, we do not yet see improvements on linguistic evaluations from our training regime. We outline potential modifications to the task design and training configuration that could better position future work to use our methodology to observe the benefits of interaction on language learning in computational cognitive models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google