Bayesian Prompt Learning for Image-Language Model Generalization

要約

基本的なイメージ言語モデルは、迅速な学習によって下流のタスクに効率的に適応するため、かなりの関心を集めています。
迅速な学習では、言語モデルの入力の一部をトレーニング可能なものとして扱い、残りを凍結し、経験的リスク最小化の目標を最適化します。
ただし、経験的リスク最小化は、トレーニング中に目に見えないプロンプトへの一般化可能性を損なう分布シフトに悩まされることが知られています。
ベイジアン法の正則化機能を活用することにより、ベイジアンの観点から迅速な学習を組み立て、変分推論問題として定式化します。
私たちのアプローチは、プロンプトスペースを正規化し、表示されたプロンプトへの過適合を減らし、表示されていないプロンプトでのプロンプトの一般化を改善します。
私たちのフレームワークは、入力プロンプト空間を確率論的な方法でモデル化することによって実装されます。これは、画像に対して無条件または条件付きのプロンプト学習アプローチと互換性のある提案を行うアプリオリ分布としてです。
15 のベンチマークで、ベイジアンのプロンプト学習がプロンプト空間の適切なカバレッジを提供し、スプリアスな機能の学習を防ぎ、転送可能な不変機能を活用することを経験的に示します。
これにより、異なるデータセットやドメイン間であっても、目に見えないプロンプトをより一般化できます。

要約(オリジナル)

Foundational image-language models have generated considerable interest due to their efficient adaptation to downstream tasks by prompt learning. Prompt learning treats part of the language model input as trainable while freezing the rest, and optimizes an Empirical Risk Minimization objective. However, Empirical Risk Minimization is known to suffer from distributional shifts which hurt generalizability to prompts unseen during training. By leveraging the regularization ability of Bayesian methods, we frame prompt learning from the Bayesian perspective and formulate it as a variational inference problem. Our approach regularizes the prompt space, reduces overfitting to the seen prompts and improves the prompt generalization on unseen prompts. Our framework is implemented by modeling the input prompt space in a probabilistic manner, as an a priori distribution which makes our proposal compatible with prompt learning approaches that are unconditional or conditional on the image. We demonstrate empirically on 15 benchmarks that Bayesian prompt learning provides an appropriate coverage of the prompt space, prevents learning spurious features, and exploits transferable invariant features. This results in better generalization of unseen prompts, even across different datasets and domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google