Fast Trainable Projection for Robust Fine-Tuning

要約

ロバストな微調整は、下流のタスクに転送する際に、事前トレーニングされたモデルの配布外 (OOD) の堅牢性を維持しながら、競争力のある配布内 (ID) パフォーマンスを達成することを目的としています。
最近、投影勾配降下法は、投影を通じて微調整されたモデルの初期化からの偏差を明示的に制限することにより、ロバストな微調整に使用されることに成功しました。
ただし、アルゴリズム的には、スケーラビリティと効率という 2 つの制限により、この方法はより広く採用されません。
このペーパーでは、レイヤごとの投影制約を計算的に効率的に学習するための新しい投影ベースの微調整アルゴリズム、Fast Trainable Projection (FTP) を提案します。これにより、以前の研究と比較して、ベンチマークで平均 $35\%$ の高速化が実現します。
FTP は、AdamW などの既存のオプティマイザーと組み合わせて、プラグ アンド プレイ方式で使用できます。
最後に、FTP が、ネストされた微分を通じて学習可能な方法でオプティマイザーのハイパーパラメーターを調整するハイパー オプティマイザーの特別なインスタンスであることを示します。
経験的に、5 つの異なる事前トレーニング済みモデルを使用した 4 つの異なるビジョン タスクにわたって、ドメイン シフトや自然破損を含む OOD データセットに対して優れた堅牢性を示しています。
さらに、FTP は適応しやすいため、低ラベルや継続的な学習設定などの他の学習シナリオにも広く適用でき、有益であることを実証します。
コードは https://github.com/GT-RIPL/FTP.git で入手できます。

要約(オリジナル)

Robust fine-tuning aims to achieve competitive in-distribution (ID) performance while maintaining the out-of-distribution (OOD) robustness of a pre-trained model when transferring it to a downstream task. Recently, projected gradient descent has been successfully used in robust fine-tuning by constraining the deviation from the initialization of the fine-tuned model explicitly through projection. However, algorithmically, two limitations prevent this method from being adopted more widely, scalability and efficiency. In this paper, we propose a new projection-based fine-tuning algorithm, Fast Trainable Projection (FTP) for computationally efficient learning of per-layer projection constraints, resulting in an average $35\%$ speedup on our benchmarks compared to prior works. FTP can be combined with existing optimizers such as AdamW, and be used in a plug-and-play fashion. Finally, we show that FTP is a special instance of hyper-optimizers that tune the hyper-parameters of optimizers in a learnable manner through nested differentiation. Empirically, we show superior robustness on OOD datasets, including domain shifts and natural corruptions, across four different vision tasks with five different pre-trained models. Additionally, we demonstrate that FTP is broadly applicable and beneficial to other learning scenarios such as low-label and continual learning settings thanks to its easy adaptability. The code will be available at https://github.com/GT-RIPL/FTP.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google