CIE: Controlling Language Model Text Generations Using Continuous Signals

要約

ユーザーの意図で言語モデルを調整することは、ユーザーエクスペリエンスを向上させるためにますます重要になっています。
これには、ユーザーがLMSが生成する言語のプロパティを制御できるようにする方法を設計する必要があります。
たとえば、世代の長さ、選択される言語の複雑さ、感情、トーンなどを制御します。ほとんどの既存の作業は、自然言語のプロンプトまたは個別の制御信号にLM世代を条件付けすることにより、ユーザーのコントロールを統合しようとします。
この作業では、\ textIT {連続}制御信号に興味があります。これは、自然言語のプロンプトで簡単にキャプチャできないスペクトルに沿って存在するもの、または条件付き生成の既存の技術を介してキャプチャできません。
LMSによって生成される世代の正確な応答長を制御するケーススタディを通じて、微調整後、言語モデルの動作を連続信号を介して制御する方法を示します。
私たちの方法は、コンテキスト内学習方法や、個別信号としてコントロール信号を表す微調整方法よりも、応答長の制御をより確実に発揮します。
オープンソースの完全なコードとデータセットは、https：//github.com/vsamuel2003/cieで入手できます。

要約(オリジナル)

Aligning language models with user intent is becoming increasingly relevant to enhance user experience. This calls for designing methods that can allow users to control the properties of the language that LMs generate. For example, controlling the length of the generation, the complexity of the language that gets chosen, the sentiment, tone, etc. Most existing work attempts to integrate users’ control by conditioning LM generations on natural language prompts or discrete control signals, which are often brittle and hard to scale. In this work, we are interested in \textit{continuous} control signals, ones that exist along a spectrum that can’t easily be captured in a natural language prompt or via existing techniques in conditional generation. Through a case study in controlling the precise response-length of generations produced by LMs, we demonstrate how after fine-tuning, behaviors of language models can be controlled via continuous signals — as vectors that are interpolated between a ‘low’ and a ‘high’ token embedding. Our method more reliably exerts response-length control than in-context learning methods or fine-tuning methods that represent the control signal as a discrete signal. Our full open-sourced code and datasets are available at https://github.com/vsamuel2003/CIE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google