STAIR: Learning Sparse Text and Image Representation in Grounded Tokens

要約

画像とテキストの検索は、ビジョンと言語の分野における基本的なタスクの 1 つであり、複数の現実世界のアプリケーションがあります。
最先端のアプローチ。
CLIP、ALIGN は、画像とテキストを密な埋め込みとして表現し、密な埋め込み空間での類似度をマッチング スコアとして計算します。
一方、bag-of-words モデルのような疎なセマンティック機能はより解釈可能ですが、密な表現よりも精度が劣ると考えられています。
この作業では、密なプレゼンテーションと同じくらい強力な、またはそれよりも優れた疎なセマンティック表現を構築できることを示します。
CLIP モデルを拡張し、画像とテキストがスパース トークン スペースにマッピングされるスパース テキストおよびイメージ表現 (STAIR) を構築します。
スペース内の各トークンは語彙の (サブ) 単語であり、解釈可能であるだけでなく、既存の情報検索システムとの統合も容易です。
STAIR モデルは、COCO-5k text$\rightarrow$image および image$\rightarrow$text 検索で、それぞれ +$4.9\%$ および +$4.3\%$ 絶対 Recall@1 の改善により、CLIP モデルよりも大幅に優れています。
また、CLIP と比較して、ImageNet のゼロ ショットとリニア プロービングの両方で優れたパフォーマンスを達成しました。

要約(オリジナル)

Image and text retrieval is one of the foundational tasks in the vision and language domain with multiple real-world applications. State-of-the-art approaches, e.g. CLIP, ALIGN, represent images and texts as dense embeddings and calculate the similarity in the dense embedding space as the matching score. On the other hand, sparse semantic features like bag-of-words models are more interpretable, but believed to suffer from inferior accuracy than dense representations. In this work, we show that it is possible to build a sparse semantic representation that is as powerful as, or even better than, dense presentations. We extend the CLIP model and build a sparse text and image representation (STAIR), where the image and text are mapped to a sparse token space. Each token in the space is a (sub-)word in the vocabulary, which is not only interpretable but also easy to integrate with existing information retrieval systems. STAIR model significantly outperforms a CLIP model with +$4.9\%$ and +$4.3\%$ absolute Recall@1 improvement on COCO-5k text$\rightarrow$image and image$\rightarrow$text retrieval respectively. It also achieved better performance on both of ImageNet zero-shot and linear probing compared to CLIP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google