Steering Language Generation: Harnessing Contrastive Expert Guidance and Negative Prompting for Coherent and Diverse Synthetic Data Generation

要約

大規模言語モデル (LLM) は、高品質で実用的な合成データを生成する計り知れない可能性を秘めており、下流のモデル トレーニングから実際のデータ利用まで数多くの用途があります。
しかし、現代のモデルは、その優れた能力にもかかわらず、一貫したデータと多様なデータの両方を生成するのに常に苦労しています。
一貫性の問題に対処するために、対照的な専門家のガイダンスを導入します。そこでは、ドメインの遵守を確保するために、微調整された言語モデルと基本言語モデルのロジット分布の違いが強調されます。
多様性を確保するために、モデルに対する否定的なプロンプトとして既存の実際の例と合成例を利用します。
私たちは、ロジット再形成に対するこの 2 つの側面からのアプローチを STEER (埋め込み再配置によるセマンティック テキスト強化) と見なします。
STEER は推論時に動作し、LLM がデータ分布への準拠 (セマンティック忠実度の確保) と、以前の合成例や既存の実際のデータセットからの逸脱 (多様性と信頼性の確保) の間のバランスをとるように体系的にガイドします。
この微妙なバランスをとる行為は、潜在空間内で選択された表現に向かって動的に近づいたり遠ざかったりすることによって達成されます。
STEER は、以前の合成データ生成手法と比較してパフォーマンスが向上し、仮説生成、有毒コメントと非毒性コメント生成、および常識推論タスク生成という 3 つの異なるタスクにわたってデータの多様性と一貫性のバランスが向上していることを示しています。
STEER がハイパーパラメータを介してダイバーシティとコヒーレンシのトレードオフをどのように微調整して制御できるかを示し、その多用途性を強調します。

要約(オリジナル)

Large Language Models (LLMs) hold immense potential to generate synthetic data of high quality and utility, which has numerous applications from downstream model training to practical data utilisation. However, contemporary models, despite their impressive capacities, consistently struggle to produce both coherent and diverse data. To address the coherency issue, we introduce contrastive expert guidance, where the difference between the logit distributions of fine-tuned and base language models is emphasised to ensure domain adherence. In order to ensure diversity, we utilise existing real and synthetic examples as negative prompts to the model. We deem this dual-pronged approach to logit reshaping as STEER: Semantic Text Enhancement via Embedding Repositioning. STEER operates at inference-time and systematically guides the LLMs to strike a balance between adherence to the data distribution (ensuring semantic fidelity) and deviation from prior synthetic examples or existing real datasets (ensuring diversity and authenticity). This delicate balancing act is achieved by dynamically moving towards or away from chosen representations in the latent space. STEER demonstrates improved performance over previous synthetic data generation techniques, exhibiting better balance between data diversity and coherency across three distinct tasks: hypothesis generation, toxic and non-toxic comment generation, and commonsense reasoning task generation. We demonstrate how STEER allows for fine-tuned control over the diversity-coherency trade-off via its hyperparameters, highlighting its versatility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google