RouterRetriever: Exploring the Benefits of Routing over Multiple Expert Embedding Models

要約

情報検索手法は多くの場合、MSMARCO のような大規模な一般ドメインのデータセットでトレーニングされた単一の埋め込みモデルに依存します。
このアプローチでは全体的なパフォーマンスが妥当なレトリーバーを生成できますが、ドメイン固有のデータでトレーニングされたモデルは、多くの場合、それぞれのドメイン内でより良い結果をもたらします。
情報検索におけるこれまでの研究では、マルチタスクのトレーニングを通じてこれに取り組んできましたが、複数のドメイン固有のエキスパート検索者を組み合わせるというテーマは、言語モデルの生成では人気があるにもかかわらず、未開拓のままです。
この研究では、RouterRetriever を導入します。これは、ドメイン固有の複数のエキスパートとルーティング メカニズムを活用して、クエリごとに最適なエキスパートを選択する検索モデルです。
軽量であり、追加のトレーニングなしで専門家の追加や削除が簡単に行えます。
BEIR ベンチマークの評価では、RouterRetriever が MSMARCO でトレーニングされた (+2.1 絶対 nDCG@10) モデルとマルチタスクでトレーニングされた (+3.2) モデルの両方を上回るパフォーマンスを示しています。
これは、言語モデリングで一般的に使用される他のルーティング技術 (平均 +1.8) を上回るルーティング メカニズムを採用することによって実現されます。
さらに、データセットに関する特定の専門家がいない場合でも、この利点は他のデータセットにもよく一般化します。
私たちの知る限り、RouterRetriever は、検索タスクにおいて単一の汎用埋め込みモデル上で効果的なルーティングを備えた複数のドメイン固有のエキスパート埋め込みモデルを使用する利点を実証した最初の作品です。

要約(オリジナル)

Information retrieval methods often rely on a single embedding model trained on large, general-domain datasets like MSMARCO. While this approach can produce a retriever with reasonable overall performance, models trained on domain-specific data often yield better results within their respective domains. While prior work in information retrieval has tackled this through multi-task training, the topic of combining multiple domain-specific expert retrievers remains unexplored, despite its popularity in language model generation. In this work, we introduce RouterRetriever, a retrieval model that leverages multiple domain-specific experts along with a routing mechanism to select the most appropriate expert for each query. It is lightweight and allows easy addition or removal of experts without additional training. Evaluation on the BEIR benchmark demonstrates that RouterRetriever outperforms both MSMARCO-trained (+2.1 absolute nDCG@10) and multi-task trained (+3.2) models. This is achieved by employing our routing mechanism, which surpasses other routing techniques (+1.8 on average) commonly used in language modeling. Furthermore, the benefit generalizes well to other datasets, even in the absence of a specific expert on the dataset. To our knowledge, RouterRetriever is the first work to demonstrate the advantages of using multiple domain-specific expert embedding models with effective routing over a single, general-purpose embedding model in retrieval tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google