Towards Trustworthy Reranking: A Simple yet Effective Abstention Mechanism

要約

Neural Information Retrieval (NIR) は、ヒューリスティックベースの IR システムを大幅に改善しました。
しかし、障害は依然として頻繁に発生しており、使用されるモデルではユーザーのクエリに関連するドキュメントを取得できないことがよくあります。
私たちは、現実世界の制約に合わせて調整された軽量の棄権メカニズムを提案することで、この課題に対処します。特に再ランキング段階に重点を置きます。
我々は、ブラックボックスシナリオで棄権戦略を評価するためのプロトコルを導入し、その有効性を実証し、シンプルでありながら効果的なデータ駆動型メカニズムを提案します。
私たちは、実験の複製と棄権の実装のためのオープンソース コードを提供し、さまざまな状況での幅広い採用と応用を促進します。

要約(オリジナル)

Neural Information Retrieval (NIR) has significantly improved upon heuristic-based IR systems. Yet, failures remain frequent, the models used often being unable to retrieve documents relevant to the user’s query. We address this challenge by proposing a lightweight abstention mechanism tailored for real-world constraints, with particular emphasis placed on the reranking phase. We introduce a protocol for evaluating abstention strategies in a black-box scenario, demonstrating their efficacy, and propose a simple yet effective data-driven mechanism. We provide open-source code for experiment replication and abstention implementation, fostering wider adoption and application in diverse contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google