How to Determine the Most Powerful Pre-trained Language Model without Brute Force Fine-tuning? An Empirical Survey

要約

伝達性の推定は、コンピュータビジョンの分野で大きな注目を集めています。
研究者は、ソース タスクから特定のターゲット タスクに転送されたときのモデルのパフォーマンスを、低い計算コストで推定しようとしています。
このような推定の有効性を考慮して、自然言語処理のコミュニティも、事前トレーニングされた言語モデルの選択に関する同様の問題を研究し始めました。
ただし、これらの推定方法間の包括的な比較はまだ行われていません。
また、視覚と言語のシナリオの違いにより、これまでの結論が分野を超えて確立できるかどうかは疑問です。
本稿では、まず既存の転写性推定手法を徹底的に調査し、最適なモデルを見つけ出し、その後、調査した手法についてGLUEベンチマークに基づいて詳細な実証研究を行います。
定性的および定量的分析から、既存の手法の長所と短所を実証し、H-Score が一般に効果と効率の点で優れたパフォーマンスを発揮することを示します。
また、トレーニングの詳細、テキスト生成への適用性、および将来の方向性を明らかにする特定の指標との一貫性を検討する際の難しさについても概説します。

要約(オリジナル)

Transferability estimation has been attached to great attention in the computer vision fields. Researchers try to estimate with low computational cost the performance of a model when transferred from a source task to a given target task. Considering the effectiveness of such estimations, the communities of natural language processing also began to study similar problems for the selection of pre-trained language models. However, there is a lack of a comprehensive comparison between these estimation methods yet. Also, the differences between vision and language scenarios make it doubtful whether previous conclusions can be established across fields. In this paper, we first conduct a thorough survey of existing transferability estimation methods being able to find the most suitable model, then we conduct a detailed empirical study for the surveyed methods based on the GLUE benchmark. From qualitative and quantitative analyses, we demonstrate the strengths and weaknesses of existing methods and show that H-Score generally performs well with superiorities in effectiveness and efficiency. We also outline the difficulties of consideration of training details, applicability to text generation, and consistency to certain metrics which shed light on future directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google