TULIP: Towards Unified Language-Image Pretraining

要約

ClipやSiglipなどの画像テキストコントラストモデルの最近の成功にもかかわらず、これらのモデルは、カウント、深さの推定、細かい粒度のオブジェクト認識など、高忠実度の理解を必要とする視覚中心のタスクに苦労しています。
これらのモデルは、言語アラインメントを実行することにより、視覚的理解よりも高レベルのセマンティクスを優先し、イメージの理解を弱める傾向があります。
一方、ビジョン中心のモデルは視覚情報の処理に優れていますが、言語を理解するのに苦労し、言語主導のタスクの柔軟性を制限します。
この作業では、既存のクリップのようなモデルのオープンソースのドロップイン交換であるチューリップを紹介します。
私たちの方法は、生成データの増強、画像イメージとテキストテキストのコントラスト学習の強化、および画像/テキスト再構成の正規化を活用して、グローバルなセマンティックアライメントを維持しながら、きめ細かい視覚的特徴を学習します。
1Bを超えるパラメーターにスケーリングするアプローチは、複数のベンチマークにわたって既存の最先端の（SOTA）モデルを上回り、Imagenet-1Kで新しいSOTAゼロショットパフォーマンスを確立し、LIERの標準分類でRXRX1のRXRX1でSiglipを介したSiglipを介した$ 2 \ Times $拡張を提供します。
MMVPのSiglip。
コード/チェックポイントは、https：//tulip-berkeley.github.ioで入手できます

要約(オリジナル)

Despite the recent success of image-text contrastive models like CLIP and SigLIP, these models often struggle with vision-centric tasks that demand high-fidelity image understanding, such as counting, depth estimation, and fine-grained object recognition. These models, by performing language alignment, tend to prioritize high-level semantics over visual understanding, weakening their image understanding. On the other hand, vision-focused models are great at processing visual information but struggle to understand language, limiting their flexibility for language-driven tasks. In this work, we introduce TULIP, an open-source, drop-in replacement for existing CLIP-like models. Our method leverages generative data augmentation, enhanced image-image and text-text contrastive learning, and image/text reconstruction regularization to learn fine-grained visual features while preserving global semantic alignment. Our approach, scaling to over 1B parameters, outperforms existing state-of-the-art (SOTA) models across multiple benchmarks, establishing a new SOTA zero-shot performance on ImageNet-1K, delivering up to a $2\times$ enhancement over SigLIP on RxRx1 in linear probing for few-shot classification, and improving vision-language models, achieving over $3\times$ higher scores than SigLIP on MMVP. Our code/checkpoints are available at https://tulip-berkeley.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google