Large Language Models Suffer From Their Own Output: An Analysis of the Self-Consuming Training Loop

要約

大規模言語モデル (LLM) は多くのベンチマークで最先端のものとなり、ChatGPT のような会話型 LLM アプリケーションは現在広く一般に使用されています。
これらの LLM を使用すると、インターネット上のさまざまなプラットフォームに投稿される大量のコンテンツを生成できます。
LLM は通常インターネットから収集されたデータセットでトレーニングされるため、この LLM で生成されたコンテンツは次世代の LLM のトレーニングに使用される可能性があります。
したがって、新しい LLM 世代が前の世代からの出力に基づいてトレーニングされる、自己消費型のトレーニング ループが発生します。
私たちは、生成された出力の品質と多様性を分析的かつ正確に測定するために、新しいデータセットを使用してこの自己消費型トレーニング ループを経験的に研究します。
この自己消費的なトレーニング ループにより、最初は品質と多様性の両方が向上することがわかりました。
しかし、数世代が経過すると、出力の多様性は必然的に退化します。
劣化の速度は実際のデータと生成されたデータの比率に依存することがわかりました。

要約(オリジナル)

Large language models (LLM) have become state of the art in many benchmarks and conversational LLM applications like ChatGPT are now widely used by the public. Those LLMs can be used to generate large amounts of content which is posted on the internet to various platforms. As LLMs are trained on datasets usually collected from the internet, this LLM-generated content might be used to train the next generation of LLMs. Therefore, a self-consuming training loop emerges in which new LLM generations are trained on the output from the previous generations. We empirically study this self-consuming training loop using a novel dataset to analytically and accurately measure quality and diversity of generated outputs. We find that this self-consuming training loop initially improves both quality and diversity. However, after a few generations the output inevitably degenerates in diversity. We find that the rate of degeneration depends on the proportion of real and generated data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google