The Consensus Game: Language Model Generation via Equilibrium Search

要約

質問応答やその他のテキスト生成タスクに適用される場合、言語モデル (LM) は、生成的に (出力分布から回答をサンプリングすることによって) または識別的に (一連の候補出力をスコアリングまたはランク付けするために使用することによって) クエリされる可能性があります。
これらの手順では、非常に異なる予測が得られる場合があります。
相互に互換性のないスコアリング手順を調整して、一貫した LM 予測を取得するにはどうすればよいでしょうか?
言語モデルをデコードするための、トレーニング不要の新しいゲーム理論的手順を導入します。
私たちのアプローチは、言語モデルのデコードを、正規化された不完全情報の逐次シグナリング ゲーム (これをコンセンサス ゲームと呼ぶ) としてキャストします。このゲームでは、GENERATOR が自然言語文を使用して抽象的な正確性パラメーターを DISCRIMINATOR に伝達しようとします。
私たちは、このゲームのおおよその均衡を見つけるための計算手順を開発し、その結果、EQUILIBRIUM-RANKING と呼ばれる解読アルゴリズムが生まれました。
EQUILIBRIUM-RANKING を多数のタスク (読解、常識的推論、数学的問題解決、対話など) に適用すると、既存の LM デコード手順よりも一貫して、場合によっては大幅にパフォーマンスが向上します。複数のベンチマークで、EQUILIBRIUM を適用すると、
-LLaMA-7B に対するランキングは、はるかに大きな LLaMA-65B および PaLM-540B モデルよりも優れています。
これらの結果は、LM における真実性と一貫性という基本的な課題に対処するためのゲーム理論ツールの有望性を強調しています。

要約(オリジナル)

When applied to question answering and other text generation tasks, language models (LMs) may be queried generatively (by sampling answers from their output distribution) or discriminatively (by using them to score or rank a set of candidate outputs). These procedures sometimes yield very different predictions. How do we reconcile mutually incompatible scoring procedures to obtain coherent LM predictions? We introduce a new, a training-free, game-theoretic procedure for language model decoding. Our approach casts language model decoding as a regularized imperfect-information sequential signaling game – which we term the CONSENSUS GAME – in which a GENERATOR seeks to communicate an abstract correctness parameter using natural language sentences to a DISCRIMINATOR. We develop computational procedures for finding approximate equilibria of this game, resulting in a decoding algorithm we call EQUILIBRIUM-RANKING. Applied to a large number of tasks (including reading comprehension, commonsense reasoning, mathematical problem-solving, and dialog), EQUILIBRIUM-RANKING consistently, and sometimes substantially, improves performance over existing LM decoding procedures – on multiple benchmarks, we observe that applying EQUILIBRIUM-RANKING to LLaMA-7B outperforms the much larger LLaMA-65B and PaLM-540B models. These results highlight the promise of game-theoretic tools for addressing fundamental challenges of truthfulness and consistency in LMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google