FFF: Fixing Flawed Foundations in contrastive pre-training results in very strong Vision-Language models

要約

ノイズとキャプションの品質は視覚言語対比事前トレーニングに影響を与える重要な要素として認識されているにもかかわらず、この論文では、そのような問題に対処することによってトレーニングプロセスを改善する可能性がまだ完全に実現されていないことを示します。
具体的には、まず、トレーニングに影響を与える 2 つの問題、つまりネガティブ ペアの誤った割り当て、およびキャプションの品質と多様性の低さを研究し、分析します。
次に、両方の問題に対処するための効果的な解決策を考案しますが、これには基本的に複数の真陽性ペアを使用したトレーニングが必要です。
最後に、このような要件に対処するために、シグモイド損失を伴うトレーニングを提案します。
画像認識 (11 データセットの平均 $\sim +6\%$) と画像検索 (Flickr30k と $
MSCOCO では \sim +15\%$)。

要約(オリジナル)

Despite noise and caption quality having been acknowledged as important factors impacting vision-language contrastive pre-training, in this paper, we show that the full potential of improving the training process by addressing such issues is yet to be realized. Specifically, we firstly study and analyze two issues affecting training: incorrect assignment of negative pairs, and low caption quality and diversity. Then, we devise effective solutions for addressing both problems, which essentially require training with multiple true positive pairs. Finally, we propose training with sigmoid loss to address such a requirement. We show very large gains over the current state-of-the-art for both image recognition ($\sim +6\%$ on average over 11 datasets) and image retrieval ($\sim +19\%$ on Flickr30k and $\sim +15\%$ on MSCOCO).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google