Learning Optimal Prompt Ensemble for Multi-source Visual Prompt Transfer

要約

迅速なチューニングは、特にリソースに制約のあるシステムで、基礎モデルをダウンストリームタスクに適応させるための軽量適応戦略として浮上しています。
事前に訓練されたプロンプトが貴重な知的資産になっているため、複数のソースプロンプトを組み合わせることで、多様なソースからの補完的な知識を活用することにより、新しいタスクの一般化を強化するための有望なアプローチが提供されます。
しかし、これらのプロンプトの素朴な集約は、相互干渉のために表現崩壊につながり、それらの集合的な可能性を損なうことがよくあります。
これらの課題に対処するために、HGPROMPTを提案します。HGPROMPTは、導入可能性と安定性という二重の目標を共同で最適化することにより、最適なアンサンブル重量を学習するマルチソースプロンプト転送の適応フレームワークであるHGPROMPTを提案します。
具体的には、最初に情報理論メトリックを導入して、ターゲットタスク上の迅速な誘導機能の転送可能性を評価し、特徴表現間の固有のアライメントをキャプチャします。
さらに、干渉を抑制しながら、複数のソースからの安定したコヒーレントな知識移転を可能にし、プロンプト間の勾配競合を緩和するために、新しい勾配アライメントの正規化を提案します。
大規模なVTABベンチマークに関する広範な実験は、HGPROMPTが最先端のパフォーマンスを達成し、マルチソースプロンプト転送における有効性を検証することを示しています。

要約(オリジナル)

Prompt tuning has emerged as a lightweight adaptation strategy for adapting foundation models to downstream tasks, particularly in resource-constrained systems. As pre-trained prompts have become valuable intellectual assets, combining multiple source prompts offers a promising approach to enhance generalization to new tasks by leveraging complementary knowledge from diverse sources. However, naive aggregation of these prompts often leads to representation collapse due to mutual interference, undermining their collective potential. To address these challenges, we propose HGPrompt, an adaptive framework for multi-source prompt transfer that learns optimal ensemble weights by jointly optimizing dual objectives: transferability and stability. Specifically, we first introduce an information-theoretic metric to evaluate the transferability of prompt-induced features on the target task, capturing the intrinsic alignment between the feature representations. Additionally, we propose a novel Gradient Alignment Regularization to mitigate gradient conflicts among prompts, enabling stable and coherent knowledge transfer from multiple sources while suppressing interference. Extensive experiments on the large-scale VTAB benchmark demonstrate that HGPrompt achieves state-of-the-art performance, validating its effectiveness in multi-source prompt transfer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google