R.I.P.: Better Models by Survival of the Fittest Prompts

要約

トレーニングデータ品質は、最終的なモデル品質の最も重要なドライバーの1つです。
この作業では、低品質の入力プロンプトが高い分散と低品質の応答をもたらすという仮定に基づいて、データの整合性を評価する方法を紹介します。
これは、拒否された応答の品質と、選択された選好ペアと拒否された選好ペアの間の報酬のギャップを測定することによって達成されます。
私たちの方法、拒否命令の好み（RIP）を使用して、既存のトレーニングセットからのプロンプトをフィルタリングしたり、高品質の合成データセットを作成して、フィルター処理されていないデータと比較してさまざまなベンチマークで大きなパフォーマンスの向上をもたらします。
llama 3.1-8b-instructを使用して、RIPはAlpacaeval2 LCの勝利率を9.4％、アリーナハードは8.7％、Wildbenchは9.9％改善します。
llama 3.3-70b-instructを使用して、RIPはリーダーボードで18位から6位から6位までのアリーナハードを67.5から82.9に改善します。

要約(オリジナル)

Training data quality is one of the most important drivers of final model quality. In this work, we introduce a method for evaluating data integrity based on the assumption that low-quality input prompts result in high variance and low quality responses. This is achieved by measuring the rejected response quality and the reward gap between the chosen and rejected preference pair. Our method, Rejecting Instruction Preferences (RIP) can be used to filter prompts from existing training sets, or to make high quality synthetic datasets, yielding large performance gains across various benchmarks compared to unfiltered data. Using Llama 3.1-8B-Instruct, RIP improves AlpacaEval2 LC Win Rate by 9.4%, Arena-Hard by 8.7%, and WildBench by 9.9%. Using Llama 3.3-70B-Instruct, RIP improves Arena-Hard from 67.5 to 82.9, which is from 18th place to 6th overall in the leaderboard.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google