ExaRanker-Open: Synthetic Explanation for IR using Open-Source LLMs

要約

ExaRanker は最近、追加のラベルとして自然言語の説明を組み込んだ、情報検索 (IR) モデルをトレーニングするアプローチを導入しました。
この方法は、ラベル付きサンプルが限られているという課題に対処し、IR モデルの有効性の向上につながります。
ただし、最初の結果は GPT-3.5 などの独自の言語モデルに基づいていたため、コストとデータ プライバシーによりデータセット サイズに制約が生じていました。
このペーパーでは、説明を生成するためのオープンソース言語モデルの使用を適応および探索する ExaRanker-Open を紹介します。
この方法は、データ拡張の効果的な貢献をよりよく理解するために、さまざまな LLM とデータセット サイズを使用してテストされています。
私たちの調査結果は、説明を組み込むことでニューラル ランカーが一貫して強化され、LLM サイズが増加するにつれてメリットが増大することを明らかにしました。
特に、私たちの研究で ExaRanker がターゲット ベースラインを 0.6 nDCG@10 ポイント上回ったことが証明しているように、データ拡張手法は大規模なデータセットでも有利であることが証明されています。
研究コミュニティによるさらなる進歩を促すために、https://github.com/unicamp-dl/ExaRanker でコードとデータセットの両方をオープンソース化しました。

要約(オリジナル)

ExaRanker recently introduced an approach to training information retrieval (IR) models, incorporating natural language explanations as additional labels. The method addresses the challenge of limited labeled examples, leading to improvements in the effectiveness of IR models. However, the initial results were based on proprietary language models such as GPT-3.5, which posed constraints on dataset size due to its cost and data privacy. In this paper, we introduce ExaRanker-Open, where we adapt and explore the use of open-source language models to generate explanations. The method has been tested using different LLMs and datasets sizes to better comprehend the effective contribution of data augmentation. Our findings reveal that incorporating explanations consistently enhances neural rankers, with benefits escalating as the LLM size increases. Notably, the data augmentation method proves advantageous even with large datasets, as evidenced by ExaRanker surpassing the target baseline by 0.6 nDCG@10 points in our study. To encourage further advancements by the research community, we have open-sourced both the code and datasets at https://github.com/unicamp-dl/ExaRanker.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google