Breaking the Batch Barrier (B3) of Contrastive Learning via Smart Batch Mining

要約

Contrastive Learning（CL）は、埋め込みモデルをトレーニングするための一般的な手法であり、表現空間で意味的に類似した例（陽性）をより近くに引き寄せ、異なるもの（ネガ）をさらに引き離します。
ネガの重要なソースは、「バッチ内」の例、つまりバッチの他の例からのポジティブです。
したがって、このようなモデルの有効性は、トレーニングバッチのサイズと品質に強く影響されます。
この作業では、CLの高品質のバッチをキュレートするように設計された新しいバッチ構造戦略である「バッチバリアの破壊」（B3）を提案します。
私たちのアプローチは、前処理された教師埋め込みモデルを使用して、データセットのすべての例をランク付けすることから始まり、そこからまばらな類似性グラフが構築されます。
次に、コミュニティ検出アルゴリズムがこのグラフに適用され、互いに強力なネガとして機能する例のクラスターを識別します。
クラスターは、バッチ内のネガが豊富なバッチを構築するために使用されます。
MMEBマルチモーダル埋め込みベンチマーク（36タスク）の経験的結果は、私たちの方法がARTの新しい最新方法を設定し、以前のベストメソッドを7Bおよび2Bモデルスケールでそれぞれ+1.3および+2.9ポイントよりも優れていることを示しています。
特に、B3で訓練されたモデルは、64個のバッチサイズが64個である場合でも、既存の最先端の結果を上回ります。

要約(オリジナル)

Contrastive learning (CL) is a prevalent technique for training embedding models, which pulls semantically similar examples (positives) closer in the representation space while pushing dissimilar ones (negatives) further apart. A key source of negatives are ‘in-batch’ examples, i.e., positives from other examples in the batch. Effectiveness of such models is hence strongly influenced by the size and quality of training batches. In this work, we propose ‘Breaking the Batch Barrier’ (B3), a novel batch construction strategy designed to curate high-quality batches for CL. Our approach begins by using a pretrained teacher embedding model to rank all examples in the dataset, from which a sparse similarity graph is constructed. A community detection algorithm is then applied to this graph to identify clusters of examples that serve as strong negatives for one another. The clusters are then used to construct batches that are rich in in-batch negatives. Empirical results on the MMEB multimodal embedding benchmark (36 tasks) demonstrate that our method sets a new state of the art, outperforming previous best methods by +1.3 and +2.9 points at the 7B and 2B model scales, respectively. Notably, models trained with B3 surpass existing state-of-the-art results even with a batch size as small as 64, which is 4-16x smaller than that required by other methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google