Adapting Large Multimodal Models to Distribution Shifts: The Role of In-Context Learning

要約

最近の研究では、大規模マルチモーダル モデル (LMM) が自然分布の変化に対して非常に堅牢であり、多くの場合、以前のベースラインを上回っていることが示されています。
それにもかかわらず、特にヘルスケアなどの特殊な分野では、ドメイン固有の適応が依然として必要です。
LMM の広大なパラメータ空間を考慮すると、LMM を微調整するのは非現実的であるため、この研究では、LMM の適応性を高める効果的な代替手段としてインコンテキスト学習 (ICL) を調査します。
ICL の成功はデモンストレーションの選択に大きく依存しており、大規模な言語モデルに見られる課題を反映しているものの、ディストリビューションの変化に直面している LMM に特有の複雑さをもたらしていることがわかりました。
私たちの研究では、教師なし ICL 手法である TopKNearestPR を評価することでこの問題に対処しています。TopKNearestPR は、特徴の類似性に基づいて最も近い例の検索を通じてコン​​テキスト内の例を選択します。
分布シフトのシナリオでは、事前にトレーニングされたビジョン エンコーダーの欠陥により、その有効性が制限されることが判明しました。
これらの課題に対処するために、より堅牢なデモンストレーション選択のためにクラス条件付き対比不変性 (CCI) を利用する新しい方法である InvariantSelectPR を提案します。
具体的には、CCI は、さまざまなクラスにわたる識別能力を向上させ、ドメイン固有の変動に対する不変性を確保することにより、事前トレーニングされたビジョン エンコーダーを強化します。
この機能強化により、エンコーダは最も有益なサンプルを効果的に識別して取得できるようになり、そのサンプルは、LMM がさまざまな分布の下で新しいクエリ サンプルに適応するようガイドするために使用されます。
私たちの実験では、InvariantSelectPR が LMM の適応性を大幅に向上させ、ベンチマーク データセットで大幅なパフォーマンス向上を達成し、Camelyon17 の 7 ショットの精度が 34.2%$\uparrow$ 向上し、HAM10000 の 7 ショットの精度が 16.9%$\uparrow$ 向上したことを示しています。
ベースラインのゼロショットパフォーマンスとの比較。

要約(オリジナル)

Recent studies indicate that large multimodal models (LMMs) are highly robust against natural distribution shifts, often surpassing previous baselines. Despite this, domain-specific adaptation is still necessary, particularly in specialized areas like healthcare. Due to the impracticality of fine-tuning LMMs given their vast parameter space, this work investigates in-context learning (ICL) as an effective alternative for enhancing LMMs’ adaptability. We find that the success of ICL heavily relies on the choice of demonstration, mirroring challenges seen in large language models but introducing unique complexities for LMMs facing distribution shifts. Our study addresses this by evaluating an unsupervised ICL method, TopKNearestPR, which selects in-context examples through a nearest example search based on feature similarity. We uncover that its effectiveness is limited by the deficiencies of pre-trained vision encoders under distribution shift scenarios. To address these challenges, we propose InvariantSelectPR, a novel method leveraging Class-conditioned Contrastive Invariance (CCI) for more robust demonstration selection. Specifically, CCI enhances pre-trained vision encoders by improving their discriminative capabilities across different classes and ensuring invariance to domain-specific variations. This enhancement allows the encoders to effectively identify and retrieve the most informative examples, which are then used to guide LMMs in adapting to new query samples under varying distributions. Our experiments show that InvariantSelectPR substantially improves the adaptability of LMMs, achieving significant performance gains on benchmark datasets, with a 34.2%$\uparrow$ accuracy increase in 7-shot on Camelyon17 and 16.9%$\uparrow$ increase in 7-shot on HAM10000 compared to the baseline zero-shot performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google