Unsupervised Parameter Efficient Source-free Post-pretraining

要約

NLPでの成功に続いて、最高のビジョンモデルは現在、10億パラメーターの範囲にあります。
これらの大きなモデルをターゲット分布に適応させることは、計算的および経済的に禁止されています。
この課題に対処するために、ソースドメインからターゲットドメインにベースモデルを効率的に適合させるように設計された、監視されていないパラメーター効率の高いソースのないソースのない予防アプローチであるUpstepを紹介します。
このようなソースフリーの設定には、壊滅的な忘却のリスクがあります。したがって、ii）壊滅的な忘却を最小限に抑え、トレーニングの繰り返しの50 \％でバックプロパゲーションをスキップすることにより計算コストをさらに削減する一連の補助操作（CVR）を提案します。
最後にiii）この適応プロセスは、低ランクの適応方法を通じて優先モデルを適応させることにより、パラメーター効率の高い方法で実行され、最適化するパラメーターのほんの一部をもたらします。
私たちは、監督されたものと監視されていないさまざまなバックボーンアーキテクチャを利用し、基本モデルとしてImagenetで訓練され、提案されたアプローチの適応性と一般化可能性を示す8つのターゲットドメインの多様なセットに適応します。

要約(オリジナル)

Following the success in NLP, the best vision models are now in the billion parameter ranges. Adapting these large models to a target distribution has become computationally and economically prohibitive. Addressing this challenge, we introduce UpStep, an Unsupervised Parameter-efficient Source-free post-pretraining approach, designed to efficiently adapt a base model from a source domain to a target domain: i) we design a self-supervised training scheme to adapt a pretrained model on an unlabeled target domain in a setting where source domain data is unavailable. Such source-free setting comes with the risk of catastrophic forgetting, hence, ii) we propose center vector regularization (CVR), a set of auxiliary operations that minimize catastrophic forgetting and additionally reduces the computational cost by skipping backpropagation in 50\% of the training iterations. Finally iii) we perform this adaptation process in a parameter-efficient way by adapting the pretrained model through low-rank adaptation methods, resulting in a fraction of parameters to optimize. We utilize various general backbone architectures, both supervised and unsupervised, trained on Imagenet as our base model and adapt them to a diverse set of eight target domains demonstrating the adaptability and generalizability of our proposed approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google