LLM Pretraining with Continuous Concepts

要約

次のトークン予測は、大規模な言語モデルの事前化で使用される標準的なトレーニング目標です。
表現は、トークンレベルの困惑を最適化した結果として学習されます。
連続コンセプトミキシング（CoComix）を提案します。これは、離散的な次のトークン予測と連続概念を組み合わせた新しい事前トレーニングフレームワークです。
具体的には、Cocomixは、前処理されたスパース自動エンコーダーから学習した連続概念を予測し、トークンの隠された表現とインテリアすることにより、それらをモデルの隠れた状態に混ぜます。
言語モデリングや下流の推論タスクを含む複数のベンチマークでの実験を通じて、Cocomixはよりサンプル効率が高く、トークンの予測、知識の蒸留、停止トークンの挿入の次の標準よりも一貫して標準を上回ることを示します。
エンドツーエンドのフレームワークでの概念学習とインターリーブの両方を組み合わせることが、パフォーマンスの向上にとって重要であることがわかります。
さらに、Cocomixは、予測された概念の直接検査と変更を可能にすることにより、解釈可能性と操縦性を向上させ、モデルの内部推論プロセスを導く透明な方法を提供します。

要約(オリジナル)

Next token prediction has been the standard training objective used in large language model pretraining. Representations are learned as a result of optimizing for token-level perplexity. We propose Continuous Concept Mixing (CoCoMix), a novel pretraining framework that combines discrete next token prediction with continuous concepts. Specifically, CoCoMix predicts continuous concepts learned from a pretrained sparse autoencoder and mixes them into the model’s hidden state by interleaving with token hidden representations. Through experiments on multiple benchmarks, including language modeling and downstream reasoning tasks, we show that CoCoMix is more sample efficient and consistently outperforms standard next token prediction, knowledge distillation and inserting pause tokens. We find that combining both concept learning and interleaving in an end-to-end framework is critical to performance gains. Furthermore, CoCoMix enhances interpretability and steerability by allowing direct inspection and modification of the predicted concept, offering a transparent way to guide the model’s internal reasoning process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google