Sigmoid Loss for Language Image Pre-Training

要約

画像とテキストの事前トレーニングのための単純なペアワイズ シグモイド損失を提案します。
ソフトマックス正規化を使用した標準的な対照学習とは異なり、シグモイド損失は画像とテキストのペアに対してのみ機能し、正規化のためにペアごとの類似性のグローバル ビューを必要としません。
シグモイド損失により、バッチサイズをさらにスケールアップできると同時に、バッチサイズが小さいほどパフォーマンスが向上します。
たった 4 つの TPUv4 チップで、ベース CLIP モデルを 4k バッチ サイズでトレーニングし、Large LiT モデルを 20k バッチ サイズでトレーニングできます。後者は 2 日間で 84.5% の ImageNet ゼロ ショット精度を達成します。
損失からバッチサイズを解きほぐすことで、例とペアの影響、および負と正の比率をさらに調べることができます。
最後に、バッチ サイズを最大 100 万まで極端に押し上げたところ、バッチ サイズを大きくするメリットが急速に減少し、32k のより妥当なバッチ サイズで十分であることがわかりました。
私たちの研究が、言語イメージの事前トレーニングの質と効率を改善するためのさらなる調査の動機となることを願っています。

要約(オリジナル)

We propose a simple pairwise sigmoid loss for image-text pre-training. Unlike standard contrastive learning with softmax normalization, the sigmoid loss operates solely on image-text pairs and does not require a global view of the pairwise similarities for normalization. The sigmoid loss simultaneously allows further scaling up the batch size, while also performing better at smaller batch sizes. With only four TPUv4 chips, we can train a Base CLIP model at 4k batch size and a Large LiT model at 20k batch size, the latter achieves 84.5% ImageNet zero-shot accuracy in two days. This disentanglement of the batch size from the loss further allows us to study the impact of examples vs pairs and negative to positive ratio. Finally, we push the batch size to the extreme, up to one million, and find that the benefits of growing batch size quickly diminish, with a more reasonable batch size of 32k being sufficient. We hope our research motivates further explorations in improving the quality and efficiency of language-image pre-training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google