Machine-generated text detection prevents language model collapse

要約

大規模な言語モデル（LLM）がますます普及するにつれて、生成された出力がWeb全体で増殖し、機械で生成されたコンテンツが人間の著作テキストを希釈する未来を危険にさらしています。
WebデータはLLM Pretrainingの主要なリソースであるため、将来のモデルは合成データの未知の部分でトレーニングされます。
これにより、モデルの崩壊につながります。これは、モデルが独自のエラーを強化し、モデルパフォーマンスの低下を経験する変性プロセスです。
この研究では、再帰トレーニング中の生成されたデータの特性、人間の参照との類似性、および結果として生成されたモデルパフォーマンスを分析するモデル崩壊に対するデコード戦略の影響を調査します。
最も重要なモデルの劣化につながるデコード戦略を使用して、トレーニングデータの起源（人間または合成）が不明である場合、モデルの崩壊を避ける方法という質問に取り組みます。
マシンで生成されたテキスト検出器からの重要な重みを使用して、データ分布の再サンプリングに基づいて新しい方法論を設計します。
私たちの方法は、オープンエンドのテキスト生成タスクで2つのLLMバリアント（GPT-2およびSMOLLM2）で検証されており、モデル崩壊を防ぐことができることを示しています。
パフォーマンス。

要約(オリジナル)

As Large Language Models (LLMs) become increasingly prevalent, their generated outputs are proliferating across the web, risking a future where machine-generated content dilutes human-authored text. Since web data is the primary resource for LLM pretraining, future models will be trained on an unknown portion of synthetic data. This will lead to model collapse, a degenerative process which causes models to reinforce their own errors and experience a drop in model performance. In this study, we investigate the impact of decoding strategy on model collapse, where we analyse the characteristics of the generated data during recursive training, its similarity to human references and the resulting model performance. Using the decoding strategies that lead to the most significant model degradation, we tackle the question: how to avoid model collapse when the origin (human or synthetic) of the training data is unknown. We design a novel methodology based on resampling the data distribution using importance weights from our machine-generated text detector. Our method is validated on two LLM variants (GPT-2 and SmolLM2) on the open-ended text generation task, demonstrating that we can successfully prevent model collapse and when there is enough human-authored data in the training dataset, our method improves model performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google