Sigmoid Loss for Language Image Pre-Training

要約

言語画像事前トレーニング (SigLIP) 用の単純なペアワイズ シグモイド損失を提案します。
ソフトマックス正規化による標準的な対比学習とは異なり、シグモイド損失は画像とテキストのペアのみに作用し、正規化のためにペアごとの類似性の全体像を必要としません。
シグモイド損失により、バッチ サイズをさらにスケールアップできると同時に、バッチ サイズが小さい場合のパフォーマンスも向上します。
わずか 4 つの TPUv4 チップを使用して、ロックされたイメージ チューニングと組み合わせることで、2 日間で ImageNet ゼロショット精度 84.5% を達成する SigLiT モデルをトレーニングしました。
損失からバッチサイズを解きほぐすことで、サンプルとペアの影響、およびネガティブとポジティブの比率をさらに研究できるようになります。
最後に、バッチ サイズを 100 万まで極限まで引き上げましたが、バッチ サイズを大きくする利点はすぐに減り、より合理的な 32k のバッチ サイズで十分であることがわかりました。
私たちはモデルを https://github.com/google-research/big_vision でリリースしており、私たちの研究が言語イメージの事前トレーニングの品質と効率の向上におけるさらなる探求の動機となることを願っています。

要約(オリジナル)

We propose a simple pairwise Sigmoid loss for Language-Image Pre-training (SigLIP). Unlike standard contrastive learning with softmax normalization, the sigmoid loss operates solely on image-text pairs and does not require a global view of the pairwise similarities for normalization. The sigmoid loss simultaneously allows further scaling up the batch size, while also performing better at smaller batch sizes. Combined with Locked-image Tuning, with only four TPUv4 chips, we train a SigLiT model that achieves 84.5% ImageNet zero-shot accuracy in two days. The disentanglement of the batch size from the loss further allows us to study the impact of examples vs pairs and negative to positive ratio. Finally, we push the batch size to the extreme, up to one million, and find that the benefits of growing batch size quickly diminish, with a more reasonable batch size of 32k being sufficient. We release our models at https://github.com/google-research/big_vision and hope our research motivates further explorations in improving the quality and efficiency of language-image pre-training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google