Visual Adaptive Prompting for Compositional Zero-Shot Learning

要約

Vision-Language Models（VLMS）は、視覚データとテキストデータの共同表現を学習する際に印象的な機能を実証しており、構成ゼロショット学習（CZSL）などのタスクの強力なツールにしています。
CZSLでは、モデルが属性やオブジェクトなどの視覚プリミティブの新しい組み合わせに一般化する必要があります。これは、トレーニング中に明示的に遭遇しませんでした。
CZSLのプロンプトの最近の作品は、テキストエンコーダーの入力の変更に焦点を当てており、多くの場合、さまざまな視覚的コンテキストで変化しない静的プロンプトを使用しています。
ただし、これらのアプローチは、構成の推論のために視覚的特徴を活用するのではなく、テキストの適応に焦点を当てているため、さまざまな視覚的コンテキストを完全にキャプチャするのに苦労しています。
これに対処するために、VLMSのフレームワーク内で学習可能な視覚的なプロンプトリポジトリと類似性ベースの検索メカニズムをレバレッジして、セマンティック機能と視覚的特徴の間のギャップを埋めることを提案します。
この方法では、画像の視覚的特徴に基づいて最も関連性の高い属性とオブジェクトプロンプトを選択する動的な視覚的なプロンプトリポジトリメカニズムを紹介します。
提案されたシステムには、モデルがより一般化可能な埋め込みスペースを学習することを奨励する視覚的なプロンプトアダプターが含まれています。
閉じたシナリオとオープンワールドの両方のシナリオにわたる3つのCZSLベンチマークでの実験は、最先端の結果を示しています。

要約(オリジナル)

Vision-Language Models (VLMs) have demonstrated impressive capabilities in learning joint representations of visual and textual data, making them powerful tools for tasks such as Compositional Zero-Shot Learning (CZSL). CZSL requires models to generalize to novel combinations of visual primitives-such as attributes and objects-that were not explicitly encountered during training. Recent works in prompting for CZSL have focused on modifying inputs for the text encoder, often using static prompts that do not change across varying visual contexts. However, these approaches struggle to fully capture varying visual contexts, as they focus on text adaptation rather than leveraging visual features for compositional reasoning. To address this, we propose Visual Adaptive Prompting System (VAPS) that leverages a learnable visual prompt repository and similarity-based retrieval mechanism within the framework of VLMs to bridge the gap between semantic and visual features. Our method introduces a dynamic visual prompt repository mechanism that selects the most relevant attribute and object prompts based on the visual features of the image. Our proposed system includes a visual prompt adapter that encourages the model to learn a more generalizable embedding space. Experiments on three CZSL benchmarks, across both closed and open-world scenarios, demonstrate state-of-the-art results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google