DPCore: Dynamic Prompt Coreset for Continual Test-Time Adaptation

要約

継続的なテスト時間適応（CTTA）は、事前に訓練されたモデルを継続的に変化しないターゲットドメインに適応させることを目指しています。
既存のCTTAメソッドは、均一な期間で構造化されたドメインの変化を想定していますが、実際の環境は、さまざまな周波数と期間でドメインが再発する動的なパターンを示すことがよくあります。
さまざまなドメインで同じパラメーターを適応させる現在のアプローチは、そのような動的な条件で苦労しています – 彼らは短いドメインの露出との収束の問題、以前に学んだ知識を忘れているリスク、またはそれを無関係なドメインに誤用します。
これを改善するために、DPCOREを提案します。DPCoreは、多様なドメインの変化パターンにわたって堅牢なパフォーマンスのために設計された方法であり、計算効率を確保します。
DPCOREは、3つの重要なコンポーネントを統合します。効率的なドメインアライメントの視覚的なプロンプト適応、知識保存のためのプロンプトコアセット、および実質的に異なるドメインの新しいドメインの新しいドメインを作成しながら、既存のプロンプトをインテリジェントに調整する動的な更新メカニズム。
4つのベンチマークでの広範な実験は、DPCOREがさまざまなCTTAメソッドを一貫して上回り、構造化された設定と動的設定の両方で最先端のパフォーマンスを達成しながら、以前のアプローチと比較して99％と計算時間を64％削減することを示しています。

要約(オリジナル)

Continual Test-Time Adaptation (CTTA) seeks to adapt source pre-trained models to continually changing, unseen target domains. While existing CTTA methods assume structured domain changes with uniform durations, real-world environments often exhibit dynamic patterns where domains recur with varying frequencies and durations. Current approaches, which adapt the same parameters across different domains, struggle in such dynamic conditions-they face convergence issues with brief domain exposures, risk forgetting previously learned knowledge, or misapplying it to irrelevant domains. To remedy this, we propose DPCore, a method designed for robust performance across diverse domain change patterns while ensuring computational efficiency. DPCore integrates three key components: Visual Prompt Adaptation for efficient domain alignment, a Prompt Coreset for knowledge preservation, and a Dynamic Update mechanism that intelligently adjusts existing prompts for similar domains while creating new ones for substantially different domains. Extensive experiments on four benchmarks demonstrate that DPCore consistently outperforms various CTTA methods, achieving state-of-the-art performance in both structured and dynamic settings while reducing trainable parameters by 99% and computation time by 64% compared to previous approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google