Uncertainty Aware Learning for Language Model Alignment

要約

命令調整された大規模言語モデル (LLM) が進化するにつれて、事前トレーニングされた基礎モデルを調整することの課題は増大しています。
既存の調整戦略は通常、多様で高品質のデータ ソースを活用しており、すべてのデータ サンプルを均等に学習することにより、タスクの本質的な不確実性を見落とすことがよくあります。
これにより、データ効率とモデルのパフォーマンスが最適化されなくなる可能性があります。
これに応えて、（より有能な LLM から引き出された）サンプルの不確実性を導入することで、さまざまなタスク シナリオのモデルの整合性を向上させる不確実性認識学習 (UAL) を提案します。
UAL はシンプルな方法で実装されており、個々のサンプルの不確実性に応じてトレーニングのラベル平滑化値を適応的に設定します。
分析により、UAL が実際に特徴空間でのより優れたトークン クラスタリングを促進することが示され、仮説が検証されました。
広く使用されているベンチマークに関する広範な実験により、当社の UAL が標準の監視付き微調整よりも大幅かつ一貫して優れていることが実証されました。
特に、混合シナリオで調整された LLM は、高エントロピー タスク (つまり、AlpacaEval リーダーボード) で平均 10.62\% の向上を達成し、複雑な低エントロピー タスク (つまり、MetaMath および GSM8K) で 1.81\% の向上を達成しました。

要約(オリジナル)

As instruction-tuned large language models (LLMs) evolve, aligning pretrained foundation models presents increasing challenges. Existing alignment strategies, which typically leverage diverse and high-quality data sources, often overlook the intrinsic uncertainty of tasks, learning all data samples equally. This may lead to suboptimal data efficiency and model performance. In response, we propose uncertainty-aware learning (UAL) to improve the model alignment of different task scenarios, by introducing the sample uncertainty (elicited from more capable LLMs). We implement UAL in a simple fashion — adaptively setting the label smoothing value of training according to the uncertainty of individual samples. Analysis shows that our UAL indeed facilitates better token clustering in the feature space, validating our hypothesis. Extensive experiments on widely used benchmarks demonstrate that our UAL significantly and consistently outperforms standard supervised fine-tuning. Notably, LLMs aligned in a mixed scenario have achieved an average improvement of 10.62\% on high-entropy tasks (i.e., AlpacaEval leaderboard), and 1.81\% on complex low-entropy tasks (i.e., MetaMath and GSM8K).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google