Self-training Large Language Models through Knowledge Detection

要約

大規模言語モデル (LLM) では、多くの場合、ダウンストリーム タスク全体で優れたパフォーマンスを達成するために、大規模なラベル付きデータセットとトレーニング コンピューティングが必要になります。
この論文では、LLM が独自のラベルを自律的にキュレートし、参照不要の一貫性メソッドを通じて識別された未知のデータ サンプルを選択的にトレーニングする自己トレーニング パラダイムを検討します。
経験的評価により、複数の被験者にわたる世代間の幻覚の減少における大幅な改善が実証されています。
さらに、選択トレーニング フレームワークは、配布外のベンチマークにおける壊滅的な忘れを軽減し、LLM のトレーニングにおける重大な制限に対処します。
私たちの調査結果は、このようなアプローチにより大規模なラベル付きデータセットへの依存が大幅に軽減され、よりスケーラブルで費用対効果の高い言語モデルのトレーニングへの道が開かれることを示唆しています。

要約(オリジナル)

Large language models (LLMs) often necessitate extensive labeled datasets and training compute to achieve impressive performance across downstream tasks. This paper explores a self-training paradigm, where the LLM autonomously curates its own labels and selectively trains on unknown data samples identified through a reference-free consistency method. Empirical evaluations demonstrate significant improvements in reducing hallucination in generation across multiple subjects. Furthermore, the selective training framework mitigates catastrophic forgetting in out-of-distribution benchmarks, addressing a critical limitation in training LLMs. Our findings suggest that such an approach can substantially reduce the dependency on large labeled datasets, paving the way for more scalable and cost-effective language model training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google