Evaluating Embedding APIs for Information Retrieval

要約

タイトル：情報検索のための埋め込みAPIの評価

要約：

– 言語モデルのサイズが増大しているため、多数の企業やスタートアップがAPIを通じて大規模な言語モデルへのアクセスを提供し始めている。
– 具体的には、密集検索に適した意味埋め込みAPIがあり、与えられたテキストのベクトル表現を構築する。
– 多数のAPIがあるため、本論文では現実的な検索シナリオで意味埋め込みAPIを分析し、実践者や研究者がニーズに合ったサービスを見つけるのを支援することを目的としている。
– 具体的には、既存のAPIのドメイン汎化能力と多言語検索に対する能力を調査するため、BEIRとMIRACLの2つの標準ベンチマークで埋め込みAPIを評価する。
– 結果として、BM25の結果を再評価することは予算的に優れており、英語に最も効果的であることがわかった。
– 非英語検索では、再評価でも結果が改善されるが、BM25とのハイブリッドモデルが最も効果的であることがわかった。
– 本研究が検索に重要なAPIを評価するための基盤を提供することを期待している。

要約(オリジナル)

The ever-increasing size of language models curtails their widespread access to the community, thereby galvanizing many companies and startups into offering access to large language models through APIs. One particular API, suitable for dense retrieval, is the semantic embedding API that builds vector representations of a given text. With a growing number of APIs at our disposal, in this paper, our goal is to analyze semantic embedding APIs in realistic retrieval scenarios in order to assist practitioners and researchers in finding suitable services according to their needs. Specifically, we wish to investigate the capabilities of existing APIs on domain generalization and multilingual retrieval. For this purpose, we evaluate the embedding APIs on two standard benchmarks, BEIR, and MIRACL. We find that re-ranking BM25 results using the APIs is a budget-friendly approach and is most effective on English, in contrast to the standard practice, i.e., employing them as first-stage retrievers. For non-English retrieval, re-ranking still improves the results, but a hybrid model with BM25 works best albeit at a higher cost. We hope our work lays the groundwork for thoroughly evaluating APIs that are critical in search and more broadly, in information retrieval.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI