Linearly Controlled Language Generation with Performative Guarantees

要約

クリティカルなアプリケーションにおける大規模言語モデル (LM) の普及が進むにつれて、計算効率が高いだけでなく、パフォーマンスの保証も得られる、制御された言語生成戦略の必要性が浮き彫りになっています。
これを達成するために、LM の潜在空間で線形に表現される概念セマンティクスの共通モデルを使用します。
特に、自然言語生成は、言語モデルの隠れた活性化によって実現される、この連続的な意味論的空間における軌跡をたどるという見解をとります。
この見解は、潜在空間でのテキスト生成の制御理論的処理を可能にし、そこで我々は、望ましくない意味に対応する領域から軌道を動的に遠ざける軽量で勾配のない介入を提案する。
重要なのは、閉じた形式で計算したこの介入が、出力を許容領域に誘導することが (確率的に) 保証されていることを示しています。
最後に、有害性回避の目的に関して、介入によってテキストの品質を維持しながら言語が望ましくないコンテンツから遠ざかることを実証します。

要約(オリジナル)

The increasing prevalence of Large Language Models (LMs) in critical applications highlights the need for controlled language generation strategies that are not only computationally efficient but that also enjoy performance guarantees. To achieve this, we use a common model of concept semantics as linearly represented in an LM’s latent space. In particular, we take the view that natural language generation traces a trajectory in this continuous semantic space, realized by the language model’s hidden activations. This view permits a control-theoretic treatment of text generation in latent space, in which we propose a lightweight, gradient-free intervention that dynamically steers trajectories away from regions corresponding to undesired meanings. Crucially, we show that this intervention, which we compute in closed form, is guaranteed (in probability) to steer the output into the allowed region. Finally, we demonstrate on a toxicity avoidance objective that the intervention steers language away from undesired content while maintaining text quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google