Revising Image-Text Retrieval via Multi-Modal Entailment

要約

優れた画像テキスト検索モデルは、高品質のラベル付きデータに依存しています。
既存の画像テキスト検索データセットの作成者は、キャプションがリンクされた画像と一致するように努めていますが、キャプションが他の画像に適合することを防ぐことはできません。
このような多対多のマッチング現象は、広く使用されている検索データセットでは非常に一般的であり、1 つのキャプションで最大 178 の画像を説明できることがわかりました。
これらの大量のマッチング ロス データは、トレーニングでモデルを混乱させるだけでなく、評価の精度を弱めます。
視覚的およびテキストの含意タスクに着想を得て、文が画像とそれにリンクされたキャプションによって含意されるかどうかを判断するマルチモーダル含意分類子を提案します。
その後、これらの付随キャプションを画像の追加の弱いラベルとして追加することで画像テキスト検索データセットを修正し、普遍的な可変学習率戦略を開発して、付随キャプションを他のネガティブサンプルと区別するように検索モデルに教えます。
実験では、評価のために含意補正された画像テキスト検索データセットに手動で注釈を付けます。
結果は、提案された含意分類器が約 78% の精度を達成し、画像テキスト検索ベースラインのパフォーマンスを一貫して改善することを示しています。

要約(オリジナル)

An outstanding image-text retrieval model depends on high-quality labeled data. While the builders of existing image-text retrieval datasets strive to ensure that the caption matches the linked image, they cannot prevent a caption from fitting other images. We observe that such a many-to-many matching phenomenon is quite common in the widely-used retrieval datasets, where one caption can describe up to 178 images. These large matching-lost data not only confuse the model in training but also weaken the evaluation accuracy. Inspired by visual and textual entailment tasks, we propose a multi-modal entailment classifier to determine whether a sentence is entailed by an image plus its linked captions. Subsequently, we revise the image-text retrieval datasets by adding these entailed captions as additional weak labels of an image and develop a universal variable learning rate strategy to teach a retrieval model to distinguish the entailed captions from other negative samples. In experiments, we manually annotate an entailment-corrected image-text retrieval dataset for evaluation. The results demonstrate that the proposed entailment classifier achieves about 78% accuracy and consistently improves the performance of image-text retrieval baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google