Coarse-Tuning for Ad-hoc Document Retrieval Using Pre-trained Language Models

要約

事前トレーニングされた言語モデル (PLM ベースの IR) を使用した情報検索システムの微調整には、下流のタスク固有の学習に加えて、クエリ表現とクエリとドキュメントの関係を学習する必要があります。
この研究では、事前トレーニングと微調整を橋渡しする中間学習段階として粗調整を導入しています。
粗調整でクエリ表現やクエリと文書の関係を学習することで、微調整の負荷を軽減し、下流のIRタスクの学習効果の向上を目指します。
クエリとドキュメントのペアの適切さを予測する粗調整のためのクエリとドキュメントのペア予測 (QDPP) を提案します。
評価実験により、提案された方法が 4 つのアドホック文書検索データセットにおいて MRR および/または nDCG@5 を大幅に改善することが示されました。
さらに、クエリ予測タスクの結果は、粗調整によりクエリ表現とクエリとドキュメントの関係の学習が促進されることを示唆しました。

要約(オリジナル)

Fine-tuning in information retrieval systems using pre-trained language models (PLM-based IR) requires learning query representations and query-document relations, in addition to downstream task-specific learning. This study introduces coarse-tuning as an intermediate learning stage that bridges pre-training and fine-tuning. By learning query representations and query-document relations in coarse-tuning, we aim to reduce the load of fine-tuning and improve the learning effect of downstream IR tasks. We propose Query-Document Pair Prediction (QDPP) for coarse-tuning, which predicts the appropriateness of query-document pairs. Evaluation experiments show that the proposed method significantly improves MRR and/or nDCG@5 in four ad-hoc document retrieval datasets. Furthermore, the results of the query prediction task suggested that coarse-tuning facilitated learning of query representation and query-document relations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google