Syntriever: How to Train Your Retriever with Synthetic Data from LLMs

要約

LLMは、多くのAIアプリケーションで進捗を後押ししています。
最近、LLMの膨大な知識を情報検索システムに蒸留しようとする試みがありました。
これらの蒸留方法は、主に最新のブラックボックスLLMで利用できないLLMの出力確率を使用しています。
Black-Box LLMSの合成データを使用して、レトリーバーのトレーニングフレームワークであるSyntrieverを提案します。
Syntrieverは2つの段階で構成されています。
まず、蒸留段階で、特定のクエリのチェーンを使用して、関連性ともっともらしい無関係なパッセージと拡張クエリを合成します。
LLMは、可能な幻覚のために合成データを自己検証するよう求められ、その後、レトリーバーは、関連するパッセージの埋め込みをクラスター化するように設計された損失でトレーニングされます。
第二に、アライメント段階で、レトリバーをLLMSの好みに合わせます。
部分的なPlackett-Luceランキングと呼ばれる優先モデリングを提案して、蒸留段階で訓練された段階からモデルが過度に逸脱することを防ぐために、LLMの好みを学習します。
実験は、SyntrieverがNDCG@$ K $のさまざまなドメインからのベンチマークデータセットで最新のパフォーマンスを達成することを示しています。
このコードは、\ href {https://github.com/kmswin1/syntriever} {https://github.com/kmswin1/syntriever}で入手できます。

要約(オリジナル)

LLMs have boosted progress in many AI applications. Recently, there were attempts to distill the vast knowledge of LLMs into information retrieval systems. Those distillation methods mostly use output probabilities of LLMs which are unavailable in the latest black-box LLMs. We propose Syntriever, a training framework for retrievers using synthetic data from black-box LLMs. Syntriever consists of two stages. Firstly in the distillation stage, we synthesize relevant and plausibly irrelevant passages and augmented queries using chain-of-thoughts for the given queries. LLM is asked to self-verify the synthetic data for possible hallucinations, after which retrievers are trained with a loss designed to cluster the embeddings of relevant passages. Secondly in the alignment stage, we align the retriever with the preferences of LLMs. We propose a preference modeling called partial Plackett-Luce ranking to learn LLM preferences with regularization which prevents the model from deviating excessively from that trained in the distillation stage. Experiments show that Syntriever achieves state-of-the-art performances on benchmark datasets from various domains in nDCG@$K$. The code is available at \href{https://github.com/kmswin1/Syntriever}{https://github.com/kmswin1/Syntriever}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google