DRAMA: Diverse Augmentation from Large Language Models to Smaller Dense Retrievers

要約

大規模な言語モデル（LLM）は、強い有効性と堅牢性を実証していますが、密集したレトリバーとして微調整されています。
ただし、その大きなパラメーターサイズは、大規模なコーパスの高いエンコーディングコストやクエリ遅延の増加など、重要な推論時間計算上の課題をもたらし、実際の展開を制限します。
小規模なレトリバーはより良い効率を提供しますが、多くの場合、限られた監視付き微調整データで効果的に一般化できません。
この作業では、LLMを活用してより小さな一般化可能な密なレトリバーを訓練するトレーニングフレームワークであるドラマを紹介します。
特に、剪定されたLLMSをバックボーンとして採用し、単一段階の対照学習セットアップで多様なLLM高級データをトレーニングします。
実験は、ドラマが従来のエンコーダーベースのレトリバーよりも優れた多言語と長期の機能を提供し、複数のタスクと言語で強力なパフォーマンスを達成することを示しています。
これらは、小規模レトリバーのトレーニングをLLMSの進歩の増大と結びつけ、効率と一般化のギャップを埋める可能性を強調しています。

要約(オリジナル)

Large language models (LLMs) have demonstrated strong effectiveness and robustness while fine-tuned as dense retrievers. However, their large parameter size brings significant inference time computational challenges, including high encoding costs for large-scale corpora and increased query latency, limiting their practical deployment. While smaller retrievers offer better efficiency, they often fail to generalize effectively with limited supervised fine-tuning data. In this work, we introduce DRAMA, a training framework that leverages LLMs to train smaller generalizable dense retrievers. In particular, we adopt pruned LLMs as the backbone and train on diverse LLM-augmented data in a single-stage contrastive learning setup. Experiments show that DRAMA offers better multilingual and long-context capabilities than traditional encoder-based retrievers, and achieves strong performance across multiple tasks and languages. These highlight the potential of connecting the training of smaller retrievers with the growing advancements in LLMs, bridging the gap between efficiency and generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google