Prompts as Auto-Optimized Training Hyperparameters: Training Best-in-Class IR Models from Scratch with 10 Gold Labels

要約

私たちは、わずか 10 個のゴールド関連ラベルを使用して小規模 (1 億パラメーター未満) の神経情報検索モデルをトレーニングする方法を開発します。
この方法は、言語モデル (LM) を使用してドキュメントの合成クエリを生成することに依存しており、重要なステップは、これらのクエリの生成に使用される LM プロンプトをトレーニングの品質に基づいて自動的に最適化することです。
BIRCO ベンチマークの実験では、私たちの方法でトレーニングされたモデルは RankZephyr を上回り、RankLLama と競合できることがわかりました。どちらも 100,000 ラベルでトレーニングされた 7B パラメーター モデルです。
これらの調査結果は、合成データセット生成における自動プロンプト最適化の威力を示しています。

要約(オリジナル)

We develop a method for training small-scale (under 100M parameter) neural information retrieval models with as few as 10 gold relevance labels. The method depends on generating synthetic queries for documents using a language model (LM), and the key step is that we automatically optimize the LM prompt that is used to generate these queries based on training quality. In experiments with the BIRCO benchmark, we find that models trained with our method outperform RankZephyr and are competitive with RankLLama, both of which are 7B parameter models trained on over 100K labels. These findings point to the power of automatic prompt optimization for synthetic dataset generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google