BEIR-NL: Zero-shot Information Retrieval Benchmark for the Dutch Language

要約

情報検索 (IR) モデルのゼロショット評価は、多くの場合 BEIR を使用して実行されます。
複数のデータセットで構成された大規模で異種混合のベンチマークで、さまざまなドメインにわたるさまざまな検索タスクをカバーします。
BEIR はゼロショット設定の標準ベンチマークとなっていますが、その内容が英語のみであるため、オランダ語など、IR で過小評価されている言語に対する有用性は低くなります。
この制限に対処し、オランダの IR モデルの開発を促進するために、公的にアクセス可能な BEIR データセットをオランダ語に自動的に翻訳する BEIR-NL を導入します。
BEIR-NL を使用して、語彙 BM25 メソッドだけでなく、広範な多言語の密なランキングおよび再ランキング モデルを評価しました。
私たちの実験では、BM25 が依然として競争力のあるベースラインであり、検索用にトレーニングされたより大きな高密度モデルによってのみ優れていることが示されています。
再ランキング モデルと組み合わせると、BM25 は最高の高密度ランキング モデルと同等のパフォーマンスを達成します。
さらに、選択したデータセットを英語に逆翻訳することで、データに対する翻訳の影響を調査しました。また、高密度メソッドと語彙メソッドの両方でパフォーマンスの低下が観察され、ベンチマーク作成における翻訳の限界が示されました。
BEIR-NL は、Hugging Face ハブで公開されています。

要約(オリジナル)

Zero-shot evaluation of information retrieval (IR) models is often performed using BEIR; a large and heterogeneous benchmark composed of multiple datasets, covering different retrieval tasks across various domains. Although BEIR has become a standard benchmark for the zero-shot setup, its exclusively English content reduces its utility for underrepresented languages in IR, including Dutch. To address this limitation and encourage the development of Dutch IR models, we introduce BEIR-NL by automatically translating the publicly accessible BEIR datasets into Dutch. Using BEIR-NL, we evaluated a wide range of multilingual dense ranking and reranking models, as well as the lexical BM25 method. Our experiments show that BM25 remains a competitive baseline, and is only outperformed by the larger dense models trained for retrieval. When combined with reranking models, BM25 achieves performance on par with the best dense ranking models. In addition, we explored the impact of translation on the data by back-translating a selection of datasets to English, and observed a performance drop for both dense and lexical methods, indicating the limitations of translation for creating benchmarks. BEIR-NL is publicly available on the Hugging Face hub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google