RRADistill: Distilling LLMs’ Passage Ranking Ability for Long-Tail Queries Document Re-Ranking on a Search Engine

要約

大規模言語モデル (LLM) は、長く複雑なロングテール クエリであっても、クエリとドキュメント間の意味論的な関係を理解することに優れています。
これらのクエリは、ユーザー エンゲージメントがまばらでフィードバックが限られているため、フィードバック ベースのランキングを行うのが難しく、LLM のランキング機能が非常に価値があります。
ただし、LLM はサイズが大きく推論が遅いため、より小型で効率的なモデル (sLLM) の開発が必要になります。
最近、ランキングラベルの生成を蒸留技術に統合することが重要になってきていますが、既存の方法は LLM の機能を十分に活用しておらず、煩雑です。
私たちの研究である RRADistill: Re-Ranking Capacity Distillation は、エンコーダー モデルとデコーダー モデルの両方に対する効率的なラベル生成パイプラインと新しい sLLM トレーニング方法を提案しています。
用語制御層を使用して用語一致信号をキャプチャするエンコーダベースの方法と、理解を深めるためのランキング層を備えたデコーダベースのモデルを導入します。
韓国ベースの検索プラットフォームでの A/B テストにより、ロングテール クエリの再ランキングを向上させるアプローチの有効性が検証されました。

要約(オリジナル)

Large Language Models (LLMs) excel at understanding the semantic relationships between queries and documents, even with lengthy and complex long-tail queries. These queries are challenging for feedback-based rankings due to sparse user engagement and limited feedback, making LLMs’ ranking ability highly valuable. However, the large size and slow inference of LLMs necessitate the development of smaller, more efficient models (sLLMs). Recently, integrating ranking label generation into distillation techniques has become crucial, but existing methods underutilize LLMs’ capabilities and are cumbersome. Our research, RRADistill: Re-Ranking Ability Distillation, propose an efficient label generation pipeline and novel sLLM training methods for both encoder and decoder models. We introduce an encoder-based method using a Term Control Layer to capture term matching signals and a decoder-based model with a ranking layer for enhanced understanding. A/B testing on a Korean-based search platform, validates the effectiveness of our approach in improving re-ranking for long-tail queries.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google