Recursive Training Loops in LLMs: How training data properties modulate distribution shift in generated data?

要約

大規模な言語モデル（LLM）は、インターネット上のコンテンツの作成にますます貢献しています。
これにより、この生成された合成データでその後の世代のモデルがトレーニングされるため、フィードバックループが作成されます。
この現象は、特に以前の研究が分布シフトにつながる可能性があることが示されているため、関心の高まりを受けています。モデルは、近似すると予想される人間データの真の根本的な分布を誤って伝え、忘れています（たとえば、品質の劇的な損失をもたらします）。
この研究では、反復トレーニングループの分布シフトダイナミクスに対するヒトデータプロパティの影響を研究します。
最初に、4つのデータセット（2つはTwitterに基づいてRedditに2つ）を比較することにより、分布シフトのダイナミクスが人間のデータによって大きく異なることを確認します。
次に、データの品質がこのシフトの速度に影響を与える可能性があるかどうかをテストします。
Twitterではそうであることがわかりますが、Redditデータセットではそうではありません。
次に、Redditデータセットに焦点を当て、データセットプロパティの大規模なセットのより徹底的な評価を実施します。
この実験は、語彙の多様性をより大きく、より大きな悪影響のあるセマンティックの多様性と関連付け、高い字句（しかし限られたセマンティック）の多様性を備えたテキストを組み込むことで、生成されたテキストの劣化を悪化させる可能性があることを示唆しています。
次に、政治的偏見の進化に焦点を当て、観察されたシフトの種類（バイアスの減少、増幅、または反転）は、人間（真の）分布の政治的リーンに依存することがわかります。
全体として、私たちの研究は、この現象がトレーニングが発生する人間のデータの特徴に大きく依存していることを示すことにより、再帰的な微調整の結果に関する既存の文献を拡張します。
これは、インターネットのさまざまな部分（Github、Redditなど）が、プロパティに応じてさまざまな種類のシフトを受ける可能性があることを示唆しています。

要約(オリジナル)

Large language models (LLMs) are increasingly contributing to the creation of content on the Internet. This creates a feedback loop as subsequent generations of models will be trained on this generated, synthetic data. This phenomenon is receiving increasing interest, in particular because previous studies have shown that it may lead to distribution shift – models misrepresent and forget the true underlying distributions of human data they are expected to approximate (e.g. resulting in a drastic loss of quality). In this study, we study the impact of human data properties on distribution shift dynamics in iterated training loops. We first confirm that the distribution shift dynamics greatly vary depending on the human data by comparing four datasets (two based on Twitter and two on Reddit). We then test whether data quality may influence the rate of this shift. We find that it does on the twitter, but not on the Reddit datasets. We then focus on a Reddit dataset and conduct a more exhaustive evaluation of a large set of dataset properties. This experiment associated lexical diversity with larger, and semantic diversity with smaller detrimental shifts, suggesting that incorporating text with high lexical (but limited semantic) diversity could exacerbate the degradation of generated text. We then focus on the evolution of political bias, and find that the type of shift observed (bias reduction, amplification or inversion) depends on the political lean of the human (true) distribution. Overall, our work extends the existing literature on the consequences of recursive fine-tuning by showing that this phenomenon is highly dependent on features of the human data on which training occurs. This suggests that different parts of internet (e.g. GitHub, Reddit) may undergo different types of shift depending on their properties.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google