ICon: In-Context Contribution for Automatic Data Selection

要約

命令チューニングのためのデータ選択は、大規模な言語モデル（LLMS）のパフォーマンスを改善し、トレーニングコストを削減するために不可欠です。
ただし、既存の自動選択方法は、計算上の高価なグラデーションベースの測定値または手動で設計されたヒューリスティックに依存しているため、データの本質的な属性を完全に活用できない可能性があります。
このホワイトペーパーでは、貢献測定のためのコンテキスト内学習（ICON）を提案します。これは、勾配計算または手動インジケーターエンジニアリングなしでサンプルの寄与を測定するために、コンテキスト内学習（ICL）の暗黙の微調整性（ICL）を活用する新しいグラデーションフリーの方法です。
アイコンは、勾配ベースの方法に計算的に効率的な代替品を提供し、ヒューリスティックベースのアプローチに固有の人間の誘導バイアスを減らします。
ICONは3つのコンポーネントで構成され、ICLを介した暗黙の学習下でのパフォーマンスシフトを評価することにより、高い矛盾データを識別します。
12のベンチマークと5つのペアワイズ評価セットにわたる3つのLLMでの広範な実験は、アイコンの有効性を示しています。
驚くべきことに、llama3.1-8bでは、アイコン選択データの15％でトレーニングされたモデルでは、完全なデータセットを5.42％上回り、広く使用されている選択方法の最高のパフォーマンスを2.06％上回ります。
さらに、最も難しいタスクではなく、多様なタスクと適切な難易度レベルの両方を示すアイコンで選択された高販売サンプルを分析します。

要約(オリジナル)

Data selection for instruction tuning is essential for improving the performance of Large Language Models (LLMs) and reducing training cost. However, existing automated selection methods either depend on computationally expensive gradient-based measures or manually designed heuristics, which may fail to fully exploit the intrinsic attributes of data. In this paper, we propose In-context Learning for Contribution Measurement (ICon), a novel gradient-free method that takes advantage of the implicit fine-tuning nature of in-context learning (ICL) to measure sample contribution without gradient computation or manual indicators engineering. ICon offers a computationally efficient alternative to gradient-based methods and reduces human inductive bias inherent in heuristic-based approaches. ICon comprises three components and identifies high-contribution data by assessing performance shifts under implicit learning through ICL. Extensive experiments on three LLMs across 12 benchmarks and 5 pairwise evaluation sets demonstrate the effectiveness of ICon. Remarkably, on LLaMA3.1-8B, models trained on 15% of ICon-selected data outperform full datasets by 5.42% points and exceed the best performance of widely used selection methods by 2.06% points. We further analyze high-contribution samples selected by ICon, which show both diverse tasks and appropriate difficulty levels, rather than just the hardest ones.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google