DPC: Dual-Prompt Collaboration for Tuning Vision-Language Models

要約

ベースニュートレードオフ（BNT）問題は、クリップベースのプロンプトチューニングの最適化中に普遍的に存在し、ベース（ターゲット）クラスでの連続的な微調整は、新しい（目に見えない）クラスでの一般化能力の同時減少につながります。
既存のアプローチは、制約を追加してBNTのバランスをとるために、迅速な調整プロセスを調節しようとします。
ただし、同じターゲットプロンプトに課されるこれらの制約は、ベースと新規の最適化方向の間の相互排他性を完全に回避できません。
この課題の斬新なソリューションとして、プラグアンドプレイのデュアルプロンプトコラボレーション（DPC）フレームワークを提案します。これは、プロンプトレベルでベースと新しいタスクの最適化プロセスを切り離す最初のものです。
具体的には、バックボーンプロンプトに基づいて学習可能な並列プロンプトをクローン化し、可変重み付けとデッカのフレームワークを導入して、ベースまたは新しいタスクに固有のデュアルプロンプトの最適化方向を独立して制御し、一般化の競合を回避します。
一方、デュアルプロンプトを利用して、強化のためにベースクラスでより挑戦的な最適化タスクを構築するために、ダイナミックハードネガティブオプティマイザーを提案します。
解釈可能性のために、最適化プロセス中のプロンプトベクトルの特徴チャネル不変性を証明し、DPCの重み付け補正に対する理論的サポートを提供します。
複数のバックボーンでの広範な実験は、新しいクラスに一般化を維持しながら、DPCが基本クラスを超えて外部の知識を導入することなく、ベースパフォーマンスを大幅に改善できることを示しています。
コードはhttps://github.com/jreion/dpcで入手できます。

要約(オリジナル)

The Base-New Trade-off (BNT) problem universally exists during the optimization of CLIP-based prompt tuning, where continuous fine-tuning on base (target) classes leads to a simultaneous decrease of generalization ability on new (unseen) classes. Existing approaches attempt to regulate the prompt tuning process to balance BNT by appending constraints. However, imposed on the same target prompt, these constraints fail to fully avert the mutual exclusivity between the optimization directions for base and new. As a novel solution to this challenge, we propose the plug-and-play Dual-Prompt Collaboration (DPC) framework, the first that decoupling the optimization processes of base and new tasks at the prompt level. Specifically, we clone a learnable parallel prompt based on the backbone prompt, and introduce a variable Weighting-Decoupling framework to independently control the optimization directions of dual prompts specific to base or new tasks, thus avoiding the conflict in generalization. Meanwhile, we propose a Dynamic Hard Negative Optimizer, utilizing dual prompts to construct a more challenging optimization task on base classes for enhancement. For interpretability, we prove the feature channel invariance of the prompt vector during the optimization process, providing theoretical support for the Weighting-Decoupling of DPC. Extensive experiments on multiple backbones demonstrate that DPC can significantly improve base performance without introducing any external knowledge beyond the base classes, while maintaining generalization to new classes. Code is available at: https://github.com/JREion/DPC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google