Dense Sparse Retrieval: Using Sparse Language Models for Inference Efficient Dense Retrieval

要約

【タイトル】
Dense Sparse Retrieval：疎な言語モデルを用いた推論効率の高い密な検索

【要約】
・ベクトルベースの検索システムは、文書やクエリの文脈表現を利用し、簡単かつ拡張性の高い方法で検索を拡張できるため、学術や産業の検索において一般的に使用されるようになってきた。
・これらのベクトルベースのシステムは、コンテキスト言語モデルに依存するため、GPUが必要であり、高価で管理が困難であることが一般的である。
・この論文では、近年の言語モデルの疎間による推論効率の向上に関する最近の進歩を考慮し、疎な言語モデルが密な検索に使用できるかどうかを研究する。
・TevatronとMSMARCO、NQ、TriviaQAの人気のある検索ライブラリとデータセットを使用して、疎な言語モデルを直接置換物として使用することができ、ほとんど精度の低下がなく、推論速度が最大4.3倍向上することがわかった。

【要点】
・文書やクエリの文脈表現を利用するベクトルベースの検索システムは、学術や産業の検索において一般的に使用される。
・これらのシステムは、コンテキスト言語モデルに依存するため、GPUが必要であり、高価で管理が困難であることが一般的である。
・疎な言語モデルは、推論効率を向上させるために最近進化しており、密な検索に使用できるかどうかを研究するために、TevatronとMSMARCO、NQ、TriviaQAの人気のある検索ライブラリとデータセットを使用する。
・疎な言語モデルは、ほとんど精度の低下がなく、推論速度が最大4.3倍向上することがわかった。

要約(オリジナル)

Vector-based retrieval systems have become a common staple for academic and industrial search applications because they provide a simple and scalable way of extending the search to leverage contextual representations for documents and queries. As these vector-based systems rely on contextual language models, their usage commonly requires GPUs, which can be expensive and difficult to manage. Given recent advances in introducing sparsity into language models for improved inference efficiency, in this paper, we study how sparse language models can be used for dense retrieval to improve inference efficiency. Using the popular retrieval library Tevatron and the MSMARCO, NQ, and TriviaQA datasets, we find that sparse language models can be used as direct replacements with little to no drop in accuracy and up to 4.3x improved inference speeds

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI