Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages

要約

大規模言語モデル (LLM) は、さまざまなドキュメントの再ランク付けタスクにおいて優れたゼロショット機能を示しています。
実装は成功しましたが、低リソース言語での有効性については、既存の文献にまだギャップがあります。
このギャップに対処するために、アフリカ言語の言語横断情報検索 (CLIR) システムにおいて LLM がリランカーとしてどのように機能するかを調査します。
私たちの実装は英語とアフリカの 4 つの言語 (ハウサ語、ソマリ語、スワヒリ語、ヨルバ語) をカバーしており、英語のクエリとアフリカの言語のパッセージを使用して言語間の再ランキングを調べます。
さらに、クエリ翻訳とドキュメント翻訳の両方を使用して、単一言語による再ランキングの有効性を分析および比較します。
また、LLM が独自に生成した翻訳を利用する場合の LLM の有効性も評価します。
複数の LLM の有効性を把握するために、私たちの調査では、オープンソース モデル RankZephyr とともに、独自のモデル RankGPT-4 および RankGPT-3.5 に焦点を当てています。
再ランキングは依然として英語で最も効果的ですが、私たちの結果は、LLM の多言語能力に応じて、言語を越えた再ランキングがアフリカ言語での再ランキングと競合する可能性があることを明らかにしています。

要約(オリジナル)

Large language models (LLMs) have shown impressive zero-shot capabilities in various document reranking tasks. Despite their successful implementations, there is still a gap in existing literature on their effectiveness in low-resource languages. To address this gap, we investigate how LLMs function as rerankers in cross-lingual information retrieval (CLIR) systems for African languages. Our implementation covers English and four African languages (Hausa, Somali, Swahili, and Yoruba) and we examine cross-lingual reranking with queries in English and passages in the African languages. Additionally, we analyze and compare the effectiveness of monolingual reranking using both query and document translations. We also evaluate the effectiveness of LLMs when leveraging their own generated translations. To get a grasp of the effectiveness of multiple LLMs, our study focuses on the proprietary models RankGPT-4 and RankGPT-3.5, along with the open-source model, RankZephyr. While reranking remains most effective in English, our results reveal that cross-lingual reranking may be competitive with reranking in African languages depending on the multilingual capability of the LLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google