TransFusion: Contrastive Learning with Transformers

要約

この論文では、対照学習のプロセスをより分析的かつ説明可能にするために設計された新しいフレームワーク TransFusion を提案します。
TransFusion は、ソフトマックスが ReLU に置き換えられるアテンション ブロックで構成され、その最終ブロックの加重和演算は切り捨てられて隣接行列が出力として残されます。
モデルは、その出力と、サンプルの各ペアが同じクラスに属するか、異なるクラスに属するかを示すターゲット親和性行列との間のジェンセン・シャノン発散を最小限に抑えることによってトレーニングされます。
TransFusion の主な貢献は、この分野における 2 つの基本的な質問、つまりデータ拡張の最大レベルと効果的な対比学習に必要な最小バッチ サイズに答えるための理論的制限を定義することにあります。
さらに、実験結果は、TransFusion が複雑な実世界のデータからクラスターを分離する特徴を抽出することに成功し、下流のタスクでの分類精度の向上につながることを示しています。

要約(オリジナル)

This paper proposes a novel framework, TransFusion, designed to make the process of contrastive learning more analytical and explainable. TransFusion consists of attention blocks whose softmax being replaced by ReLU, and its final block’s weighted-sum operation is truncated to leave the adjacency matrix as the output. The model is trained by minimizing the Jensen-Shannon Divergence between its output and the target affinity matrix, which indicates whether each pair of samples belongs to the same or different classes. The main contribution of TransFusion lies in defining a theoretical limit for answering two fundamental questions in the field: the maximum level of data augmentation and the minimum batch size required for effective contrastive learning. Furthermore, experimental results indicate that TransFusion successfully extracts features that isolate clusters from complex real-world data, leading to improved classification accuracy in downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google