Leveraging Estimated Transferability Over Human Intuition for Model Selection in Text Ranking

要約

テキストのランキングは、事前トレーニング済み言語モデル (PLM) によって強化されたデュアル エンコーダーの利用により、大幅な進歩を遂げています。
利用可能な PLM が急増していることを考えると、特定のデータセットに対して最も効果的な PLM を選択することは、簡単な課題ではなくなりました。
人間の直感や強引な微調整に代わる有望な代替手段として、モデル選択への効果的なアプローチとして Transferability Estimation (TE) が登場しました。
ただし、現在の TE 手法は主に分類タスク用に設計されており、推定される伝達可能性はテキスト ランキングの目的とうまく一致しない可能性があります。
この課題に対処するために、モデルのランキング機能を明示的に反映して、期待されるランクを伝達可能性として計算することを提案します。
さらに、異方性を軽減し、トレーニング ダイナミクスを組み込むために、等方性の文の埋め込みを適応的にスケーリングして、正確な期待ランク スコアを生成します。
私たちの結果として得られた手法である Adaptive Rank Transferability (AiRTran) は、モデル間の微妙な違いを効果的に捉えることができます。
さまざまなテキスト ランキング データセットにわたる困難なモデル選択シナリオにおいて、これまでの分類指向の TE 手法、人間の直感、および ChatGPT をわずかな時間消費で大幅に改善していることが実証されています。

要約(オリジナル)

Text ranking has witnessed significant advancements, attributed to the utilization of dual-encoder enhanced by Pre-trained Language Models (PLMs). Given the proliferation of available PLMs, selecting the most effective one for a given dataset has become a non-trivial challenge. As a promising alternative to human intuition and brute-force fine-tuning, Transferability Estimation (TE) has emerged as an effective approach to model selection. However, current TE methods are primarily designed for classification tasks, and their estimated transferability may not align well with the objectives of text ranking. To address this challenge, we propose to compute the expected rank as transferability, explicitly reflecting the model’s ranking capability. Furthermore, to mitigate anisotropy and incorporate training dynamics, we adaptively scale isotropic sentence embeddings to yield an accurate expected rank score. Our resulting method, Adaptive Ranking Transferability (AiRTran), can effectively capture subtle differences between models. On challenging model selection scenarios across various text ranking datasets, it demonstrates significant improvements over previous classification-oriented TE methods, human intuition, and ChatGPT with minor time consumption.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google