Enhancing Conceptual Understanding in Multimodal Contrastive Learning through Hard Negative Samples

要約

対照学習を活用した現在のマルチモーダル モデルは、詳細な概念的理解を発展させる上で限界に直面することがよくあります。
これは、事前トレーニング中のランダムな負のサンプルが原因であり、ほぼ例外なく、非常に異なる概念が損失関数で比較されます。
その結果、モデルは細かい意味の違いに悩まされます。
この問題に対処するために、合成ハード ネガティブ テキストの例を組み込んだ新しい事前トレーニング方法を導入します。
ハードネガは、視覚的概念に対応する用語を並べ替え、よりきめの細かい視覚的概念とテキストの概念の整合をもたらします。
さらに、視覚言語モデルにおける色、オブジェクト、サイズのきめ細かい配置を評価するための新しい挑戦的なデータセットである InpaintCOCO を紹介します。
COCO 画像から生成修復を使用してデータセットを作成し、画像が元のキャプションと一致しなくなるように視覚的な概念を変更しました。
私たちの結果は、InpaintCOCO データセットを含む、広範囲の視覚言語データセットにわたって、きめ細かい概念の理解が大幅に向上していることを示しています。

要約(オリジナル)

Current multimodal models leveraging contrastive learning often face limitations in developing fine-grained conceptual understanding. This is due to random negative samples during pretraining, causing almost exclusively very dissimilar concepts to be compared in the loss function. Consequently, the models struggle with fine-grained semantic differences. To address this problem, we introduce a novel pretraining method incorporating synthetic hard negative text examples. The hard negatives permute terms corresponding to visual concepts, leading to a more fine-grained visual and textual concept alignment. Further, we introduce InpaintCOCO, a new challenging dataset for assessing the fine-grained alignment of colors, objects, and sizes in vision-language models. We created the dataset using generative inpainting from COCO images by changing the visual concepts so that the images no longer match their original captions. Our results show significant improvements in fine-grained concept understanding across a wide range of vision-language datasets, including our InpaintCOCO dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google