On the Low-Rank Parametrization of Reward Models for Controlled Language Generation

要約

大量のデータで訓練された言語モデルは、場合によっては不適切なコンテンツを生成することが知られており、現実の世界で使用するために慎重に調整する必要があります。
外部の専門家モデルがデコードを導くとき、言語モデルの制御性のための効果的でモジュール式アプローチを再検討します。
特に、外部の専門家のパラメータ化選択にズームインし、低ランクと高ランクのパラメーター化の違いを強調します。
高位の専門家は、報酬を表す際に高い柔軟性をサポートするように設計されており、デコード中の計算コストが高くなります。
ただし、完全な柔軟性を使用しない可能性があることを実証しています。
高ランクのエキスパートモデルを使用する最近提案された報酬補助デコードアプローチ（RAD）を分析することにより、高速かつ効果的なガイドデコードを可能にするエキスパートモデルのよりシンプルだが効率的な低ランクのパラメーター化を導入します。
低ランクRADは、解毒とセンチメントコントロールタスクのより柔軟なRADと同等に機能し、生成されたトークンごとに1回の報酬モデルコールのみを必要とすることを経験的に示します。

要約(オリジナル)

Language models trained on large amounts of data are known to produce inappropriate content in some cases and require careful tuning to be used in the real world. We revisit an effective and modular approach for controllability of the language models, when an external expert model guides the decoding. Particularly, we zoom in into the parametrization choice of an external expert, highlighting the difference between low-rank and higher-rank parametrizations. Higher-rank experts are designed to support high flexibility when representing the rewards, leading to higher computational costs during decoding. However, we demonstrate that they might not use their full flexibility. By analyzing the recently proposed reward-augmented decoding approach (RAD), which uses a higher-rank expert model, we introduce a simpler but more efficient low-rank parametrization of the expert model enabling fast and effective guided decoding. We empirically show that the low-rank RAD performs on par with the more flexible RAD on a detoxification and a sentiment control task, while requiring only a single reward model call per generated token.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google