Rethinking Dense Retrieval’s Few-Shot Ability

要約

タイトル：Dense Retrievalのfew-shot能力の再考
要約：
– Few-shot dense retrieval(DR)は、限られたサンプルから学習し、新しい検索シナリオに効果的に汎化することを目的としている
– 少数の専門データセットと標準化された評価プロトコルに関する研究はほとんど行われておらず、現在の方法はしばしば教師付きデータセットからのランダムサンプリングを使用するため、評価中に不一致なトレーニング戦略が採用されるため、最近の進歩を正確に比較することに課題がある
– 本論文では、FewDRデータセットと統一された評価ベンチマークを提案する。FewDRは、細かく定義されたクラスで標準化された「few-shot」セッティングを確立するためにクラスごとのサンプリングを使用し、複数のサンプリングラウンドでの変動性を減らす。さらに、データセットはベースと新しいクラスに分断され、DRモデルがベースクラスの豊富なデータと新しいクラスの少数のサンプルで継続的にトレーニングできるようになっている。このベンチマークは新しいクラスの漏洩のリスクを排除し、DRモデルのfew-shot能力を信頼できる推定値を提供する。
– 大規模な実証実験の結果、現在の最先端のDRモデルでも、標準のfew-shotシーンに直面する課題がまだあることが明らかになった。
– ソースコードとデータはhttps://github.com/OpenMatch/ANCE-Teleでオープンソース化される。

要約(オリジナル)

Few-shot dense retrieval (DR) aims to effectively generalize to novel search scenarios by learning a few samples. Despite its importance, there is little study on specialized datasets and standardized evaluation protocols. As a result, current methods often resort to random sampling from supervised datasets to create ‘few-data’ setups and employ inconsistent training strategies during evaluations, which poses a challenge in accurately comparing recent progress. In this paper, we propose a customized FewDR dataset and a unified evaluation benchmark. Specifically, FewDR employs class-wise sampling to establish a standardized ‘few-shot’ setting with finely-defined classes, reducing variability in multiple sampling rounds. Moreover, the dataset is disjointed into base and novel classes, allowing DR models to be continuously trained on ample data from base classes and a few samples in novel classes. This benchmark eliminates the risk of novel class leakage, providing a reliable estimation of the DR model’s few-shot ability. Our extensive empirical results reveal that current state-of-the-art DR models still face challenges in the standard few-shot scene. Our code and data will be open-sourced at https://github.com/OpenMatch/ANCE-Tele.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI