Meta-Learning Adaptable Foundation Models

要約

基礎モデル (FM) の力は、幅広いタスクに適応できる高度な表現力を学習できる能力にあります。
ただし、これらの事前トレーニング済みモデルを下流のアプリケーションで有効にするには、複数段階の微調整が必​​要です。
従来、モデルはまず対象となる多様なタスクの集合体で再トレーニングされ、次にパラメータ効率の良い微調整 (PEFT) スキームを利用して特定の低リソースの下流タスクに適応されます。
この 2 フェーズの手順は合理的であるように見えますが、再トレーニングされたモデルが微調整後に良好なパフォーマンスを達成するという保証がないため、再トレーニングと微調整のフェーズの独立性が大きな問題を引き起こします。
この問題に明示的に対処するために、この中間の再トレーニング段階で PEFT を組み込んだメタ学習フレームワークを導入し、目に見えないタスクに簡単に適応できるモデルを学習します。
理論的結果については、低ランク適応を使用した線形モデルに焦点を当てています。
この設定では、適応可能なパラメータのセットを見つけるための標準的な再トレーニングが最適ではないことを示します。
さらに、私たちの方法が最適に適応可能なパラメータを回復することを証明します。
次に、これらの理論的洞察を RoBERTa モデルの再トレーニングに適用して、ConvAI2 データセット内の異なるペルソナ間の会話の継続を予測します。
経験的に、従来のアプローチと比較して、再トレーニング中に提案したメタ学習スキームを使用すると、パフォーマンスが大幅に向上することが観察されています。

要約(オリジナル)

The power of foundation models (FMs) lies in their capacity to learn highly expressive representations that can be adapted to a broad spectrum of tasks. However, these pretrained models require multiple stages of fine-tuning to become effective for downstream applications. Conventionally, the model is first retrained on the aggregate of a diverse set of tasks of interest and then adapted to specific low-resource downstream tasks by utilizing a parameter-efficient fine-tuning (PEFT) scheme. While this two-phase procedure seems reasonable, the independence of the retraining and fine-tuning phases causes a major issue, as there is no guarantee the retrained model will achieve good performance post-fine-tuning. To explicitly address this issue, we introduce a meta-learning framework infused with PEFT in this intermediate retraining stage to learn a model that can be easily adapted to unseen tasks. For our theoretical results, we focus on linear models using low-rank adaptations. In this setting, we demonstrate the suboptimality of standard retraining for finding an adaptable set of parameters. Further, we prove that our method recovers the optimally adaptable parameters. We then apply these theoretical insights to retraining the RoBERTa model to predict the continuation of conversations between different personas within the ConvAI2 dataset. Empirically, we observe significant performance benefits using our proposed meta-learning scheme during retraining relative to the conventional approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google