Visual Prompt Tuning for Test-time Domain Adaptation

要約

モデルは、実際の展開シナリオで避けられない分散シフトによって引き起こされるパフォーマンスの低下を回避するために、テスト時に目に見えないデータに適応する機能を備えている必要があります。
この作業では、ソース データにアクセスせずにモデルがターゲット ドメインに適応する、実用的でありながら困難なテスト時間適応 (TTA) 問題に取り組みます。
2 つの重要な要素を使用して、データ効率の高いプロンプト チューニング (DePT) と呼ばれる簡単なレシピを提案します。
まず、DePT はビジュアル プロンプトをビジョン トランスフォーマーにプラグインし、適応中にこれらのソースで初期化されたプロンプトのみを調整します。
このようなパラメーター効率の良い微調整により、学習目的のノイズに過適合することなく、モデル表現をターゲットドメインに効率的に適応させることができます。
次に、DePT は、メモリ バンク ベースのオンライン疑似ラベリングによって、ソース表現をターゲット ドメインにブートストラップします。
プロンプト用に特別に設計された階層的な自己管理型正則化は、自己トレーニング中のエラーの蓄積を軽減するために共同で最適化されます。
調整可能なパラメーターがはるかに少ないため、DePT は、主要な適応ベンチマークで最先端のパフォーマンスを発揮するだけでなく、優れたデータ効率、つまり、100 と比較してパフォーマンスを大幅に低下させることなく、1\% または 10\% のデータのみで適応することも示します。
％ データ。
さらに、DePT は、オンラインまたはマルチソースの TTA 設定に拡張できる汎用性もあります。

要約(オリジナル)

Models should have the ability to adapt to unseen data during test-time to avoid performance drop caused by inevitable distribution shifts in real-world deployment scenarios. In this work, we tackle the practical yet challenging test-time adaptation (TTA) problem, where a model adapts to the target domain without accessing the source data. We propose a simple recipe called data-efficient prompt tuning (DePT) with two key ingredients. First, DePT plugs visual prompts into the vision Transformer and only tunes these source-initialized prompts during adaptation. We find such parameter-efficient finetuning can efficiently adapt the model representation to the target domain without overfitting to the noise in the learning objective. Second, DePT bootstraps the source representation to the target domain by memory bank-based online pseudo labeling. A hierarchical self-supervised regularization specially designed for prompts is jointly optimized to alleviate error accumulation during self-training. With much fewer tunable parameters, DePT demonstrates not only state-of-the-art performance on major adaptation benchmarks, but also superior data efficiency, i.e., adaptation with only 1\% or 10\% data without much performance degradation compared to 100\% data. In addition, DePT is also versatile to be extended to online or multi-source TTA settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google