Exploring the Effectiveness of Multi-stage Fine-tuning for Cross-encoder Re-rankers

要約

最先端のクロスエンコーダーは、パッセージの再ランクに非常に効果的であるように微調整できます。
再ランカーとしてのクロスエンコーダーの典型的な微調整プロセスには、手動でラベル付けされたデータ、対照的な学習目標、およびヒューリスト的にサンプリングされたネガのセットが必要です。
代わりに、微調整のための別の最近のアプローチでは、蒸留目標を使用して非常に効果的な大きな言語モデルのランキングを模倣するためにモデルを教えることが含まれます。
これらの微調整戦略は、個別に、または順番に適用できます。
この作業では、単一の段階で独立して微調整されたとき、または2つの段階で順次微調整されたときに、ポイントごとのクロスエンコーダーの有効性を体系的に調査します。
私たちの実験は、コントラシティブ学習を使用して微調整されたポイントごとのクロスエンコーダーの有効性は、マルチステージアプローチで微調整されたモデルと同等であることを示しています。
コードは、https：//github.com/fpezzuti/multistage-finetuningで複製に利用できます。

要約(オリジナル)

State-of-the-art cross-encoders can be fine-tuned to be highly effective in passage re-ranking. The typical fine-tuning process of cross-encoders as re-rankers requires large amounts of manually labelled data, a contrastive learning objective, and a set of heuristically sampled negatives. An alternative recent approach for fine-tuning instead involves teaching the model to mimic the rankings of a highly effective large language model using a distillation objective. These fine-tuning strategies can be applied either individually, or in sequence. In this work, we systematically investigate the effectiveness of point-wise cross-encoders when fine-tuned independently in a single stage, or sequentially in two stages. Our experiments show that the effectiveness of point-wise cross-encoders fine-tuned using contrastive learning is indeed on par with that of models fine-tuned with multi-stage approaches. Code is available for reproduction at https://github.com/fpezzuti/multistage-finetuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google