Towards Trustworthy Reranking: A Simple yet Effective Abstention Mechanism

要約

ニューラル情報検索 (NIR) は、ヒューリスティックベースの情報検索 (IR) システムを大幅に改善しました。
しかし、障害は依然として頻繁に発生しており、使用されるモデルではユーザーのクエリに関連するドキュメントを取得できないことがよくあります。
私たちは、現実世界の制約に合わせて調整された軽量の棄権メカニズムを提案することで、この課題に対処します。特に再ランキング段階に重点を置きます。
ブラックボックス シナリオ (API サービスに依存する場合に通常発生する) で棄権戦略を評価するためのプロトコルを紹介し、その有効性を実証し、シンプルでありながら効果的なデータ駆動型メカニズムを提案します。
私たちは、実験の複製と棄権の実装のためのオープンソース コードを提供し、さまざまな状況での幅広い採用と応用を促進します。

要約(オリジナル)

Neural Information Retrieval (NIR) has significantly improved upon heuristic-based Information Retrieval (IR) systems. Yet, failures remain frequent, the models used often being unable to retrieve documents relevant to the user’s query. We address this challenge by proposing a lightweight abstention mechanism tailored for real-world constraints, with particular emphasis placed on the reranking phase. We introduce a protocol for evaluating abstention strategies in black-box scenarios (typically encountered when relying on API services), demonstrating their efficacy, and propose a simple yet effective data-driven mechanism. We provide open-source code for experiment replication and abstention implementation, fostering wider adoption and application in diverse contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google