Distilling Knowledge from Text-to-Image Generative Models Improves Visio-Linguistic Reasoning in CLIP

要約

CLIP のような画像とテキストの対照モデルは、ゼロショット分類、画像とテキストの検索、転移学習に幅広く応用できます。
しかし、彼らはしばしば構成的な視覚言語的タスク（属性の結合やオブジェクトの関係など）で苦労し、そのパフォーマンスは偶然に勝るものではありません。
これに対処するために、CLIP の構成視覚言語推論を強化する軽量でサンプル効率の高い蒸留方法である SDS-CLIP を導入します。
私たちのアプローチは、強力な視覚言語推論能力で知られる安定拡散のような大規模なテキストから画像への生成モデルから借用した蒸留目標を使用して CLIP を微調整します。
困難な Winoground ベンチマークでは、SDS-CLIP はさまざまな CLIP モデルの視覚言語パフォーマンスを最大 7% 向上させ、ARO データセットではパフォーマンスを最大 3% 向上させます。
この研究は、視覚言語的推論能力の向上により、対照的な画像とテキストのモデルを強化する、生成モデルからの適切に設計された蒸留目標の可能性を強調しています。

要約(オリジナル)

Image-text contrastive models like CLIP have wide applications in zero-shot classification, image-text retrieval, and transfer learning. However, they often struggle on compositional visio-linguistic tasks (e.g., attribute-binding or object-relationships) where their performance is no better than random chance. To address this, we introduce SDS-CLIP, a lightweight and sample-efficient distillation method to enhance CLIP’s compositional visio-linguistic reasoning. Our approach fine-tunes CLIP using a distillation objective borrowed from large text-to-image generative models like Stable-Diffusion, which are known for their strong visio-linguistic reasoning abilities. On the challenging Winoground benchmark, SDS-CLIP improves the visio-linguistic performance of various CLIP models by up to 7%, while on the ARO dataset, it boosts performance by up to 3%. This work underscores the potential of well-designed distillation objectives from generative models to enhance contrastive image-text models with improved visio-linguistic reasoning capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google