PASH at TREC 2021 Deep Learning Track: Generative Enhanced Model for Multi-stage Ranking

要約

この文書では、TREC 2021 Deep Learning Track への PASH の参加について説明します。
想起段階では、スパース検索とデンス検索を組み合わせたスキームを採用します。
多段階のランキング段階では、一般知識とドキュメントレベルのデータで継続的に事前トレーニングされたモデルに基づいて、ポイントごとおよびペアごとのランキング戦略が次々に使用されます。
TREC 2020 Deep Learning Track と比較して、生成モデル T5 を追加導入し、パフォーマンスをさらに強化しました。

要約(オリジナル)

This paper describes the PASH participation in TREC 2021 Deep Learning Track. In the recall stage, we adopt a scheme combining sparse and dense retrieval method. In the multi-stage ranking phase, point-wise and pair-wise ranking strategies are used one after another based on model continual pre-trained on general knowledge and document-level data. Compared to TREC 2020 Deep Learning Track, we have additionally introduced the generative model T5 to further enhance the performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google