Comparative Analysis of Listwise Reranking with Large Language Models in Limited-Resource Language Contexts

要約

大規模言語モデル (LLM) は、テキストのランキングを含むさまざまな NLP タスクにわたって大きな有効性を実証しています。
この研究では、リソースが限られているアフリカ言語のリストごとの再ランキングにおける大規模言語モデル (LLM) のパフォーマンスを評価します。
独自のモデルである RankGPT3.5、Rank4o-mini、RankGPTo1-mini、および RankClaude-sonnet を言語間のコンテキストで比較します。
結果は、これらの LLM が、ほとんどの評価指標、特に nDCG@10 および MRR@100 において、BM25-DT などの従来のベースライン手法よりも大幅に優れていることを示しています。
これらの調査結果は、低リソース言語の再ランキング タスクを強化する LLM の可能性を強調し、費用対効果の高いソリューションへの洞察を提供します。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated significant effectiveness across various NLP tasks, including text ranking. This study assesses the performance of large language models (LLMs) in listwise reranking for limited-resource African languages. We compare proprietary models RankGPT3.5, Rank4o-mini, RankGPTo1-mini and RankClaude-sonnet in cross-lingual contexts. Results indicate that these LLMs significantly outperform traditional baseline methods such as BM25-DT in most evaluation metrics, particularly in nDCG@10 and MRR@100. These findings highlight the potential of LLMs in enhancing reranking tasks for low-resource languages and offer insights into cost-effective solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google