Towards a Theoretical Understanding of Synthetic Data in LLM Post-Training: A Reverse-Bottleneck Perspective

要約

高品質で特定のデータが不足しているため、合成データは大規模言語モデル (LLM) のトレーニング後のタスクにおいて極めて重要なリソースとなっています。
合成データを生成するためにさまざまな方法が開発されていますが、合成データの実際の効果と私たちの理論的理解の間には、依然として明らかなギャップが存在します。
この課題に対処するために、まず、一般的な合成データ生成プロセスの詳細なモデリングを提示します。
このモデリングに基づいて、新しい逆ボトルネックの観点から分析したように、トレーニング後のモデルの汎化能力が生成モデルから得られる情報利得によって決定的に決定されることを実証します。
さらに、相互情報による一般化利得 (GGMI) の概念を導入し、一般化利得と情報利得の関係を解明します。
この分析は、合成データ生成の理論的基盤として機能し、トレーニング後のモデルの一般化機能との関係をさらに強調し、合成データ生成技術の設計とトレーニング後のプロセスの最適化についての理解を提供します。
私たちは匿名の GitHub リポジトリ (https://anonymous.4open.science/r/Understanding-Synthetic) を通じてコードをオープンソースにしています。

要約(オリジナル)

Synthetic data has become a pivotal resource in post-training tasks for large language models (LLMs) due to the scarcity of high-quality, specific data. While various methods have been developed to generate synthetic data, there remains a discernible gap between the practical effects of synthetic data and our theoretical comprehension. To address this challenge, we commence by presenting a detailed modeling of the prevalent synthetic data generation process. Building upon this modeling, we demonstrate that the generalization capability of the post-trained model is critically determined by the information gain derived from the generative model, as analyzed from a novel reverse-bottleneck perspective. Moreover, we introduce the concept of Generalization Gain via Mutual Information (GGMI) and elucidate the relationship between generalization gain and information gain. This analysis serves as a theoretical foundation for synthetic data generation and further highlights its connection with the generalization capability of post-trained models, offering an understanding about the design of synthetic data generation techniques and the optimization of the post-training process. We open source our code through an anonymous GitHub repository at https://anonymous.4open.science/r/Understanding-Synthetic.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google