LLM See, LLM Do: Guiding Data Generation to Target Non-Differentiable Objectives

要約

合成データの普及により、データを生成するモデルが蒸留されたデータを介して他の大規模言語モデル (LLM) にどのような影響を与えることができるかについて、新たな疑問が生じています。
まず、私たちの研究では、合成データ統合の結果を系統的に研究することにより、モデル プロパティの受動的継承の影響を徹底的に特徴付けています。
私たちは、合成データのソースがモデルの内部バイアス、キャリブレーション、世代のテキスト属性と好みをどのように形成するかについて、これまでで最も包括的な研究の 1 つを提供します。
合成データ プロンプトが「中立」に見える場合でも、モデルは特定の属性に対して驚くほど敏感であることがわかりました。
この感受性を良い方向に利用できるかどうかという疑問が生じます。
私たちの調査結果は、データ生成プロセスを利用することで、テスト時にモデルを必要なプロパティに向けて明示的に誘導できるか?という疑問を引き起こします。
これは歴史的には、特定の特性や目的を念頭に置いたデータ収集にはコストがかかるため、実現不可能だと考えられていました。
しかし、合成データの品質が向上し、多様な指示に従うように設計された汎用モデルへの移行は、この問題がタイムリーであることを意味します。
私たちは、微分不可能な目的に従って合成データを意図的に制約することを表す用語としてアクティブ継承を提案します。
アクティブな継承がモデルの生成プロファイルを望ましい非微分不可能な属性に向けてどのように導くことができるかを示します。
語彙の多様性が高い、または毒性が低い。

要約(オリジナル)

The widespread adoption of synthetic data raises new questions about how models generating the data can influence other large language models (LLMs) via distilled data. To start, our work exhaustively characterizes the impact of passive inheritance of model properties by systematically studying the consequences of synthetic data integration. We provide one of the most comprehensive studies to-date of how the source of synthetic data shapes models’ internal biases, calibration and generations’ textual attributes and preferences. We find that models are surprisingly sensitive towards certain attributes even when the synthetic data prompts appear ‘neutral’. which invites the question whether this sensitivity can be exploited for good. Our findings invite the question can we explicitly steer the models towards the properties we want at test time by exploiting the data generation process? This would have historically been considered infeasible due to the cost of collecting data with a specific characteristic or objective in mind. However, improvement in the quality of synthetic data, as well as a shift towards general-purpose models designed to follow a diverse way of instructions, means this question is timely. We propose active inheritance as a term to describe intentionally constraining synthetic data according to a non-differentiable objective. We demonstrate how active inheritance can steer the generation profiles of models towards desirable non-differentiable attributes, e.g. high lexical diversity or low toxicity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google