Causal-Informed Contrastive Learning: Towards Bias-Resilient Pre-training under Concept Drift

要約

最上層データセットによって推進される大規模な対照的なトレーニングの進化は、スケーリング法の遷移点に達しました。
その結果、ドリフト環境でのモデルのトレーニング前の機能を維持および強化することは、顕著な課題として浮上しています。
この論文では、最初に、対照的なトレーニング前の方法がコンセプトドリフトによって大きく影響を受け、分布が予測不可能に変化し、事前に訓練されたモデルの特徴空間に顕著なバイアスをもたらすことを明らかにします。
因果推論に力を与え、概念ドリフトが体系的にコントラシスティング前のトレーニングを対象とする影響を分析するための構造的因果グラフを構築し、因果介入の対照的な目的を提案します。
これを達成すると、シンプルでスケーラブルな実装を使用して、コンセプトドリフトのデータストリームに対応するための回復力のある対照的なトレーニングアプローチを考案します。
さまざまな下流のタスクに関する広範な実験は、私たちの回復力のあるコントラスト前トレーニングが、コンセプトドリフトデータストリームに起因するバイアスを効果的に軽減することを示しています。
コードはhttps://anonymous.4open.science/r/resilientcl/で入手できます。

要約(オリジナル)

The evolution of large-scale contrastive pre-training propelled by top-tier datasets has reached a transition point in the scaling law. Consequently, sustaining and enhancing a model’s pre-training capabilities in drift environments have surfaced as a notable challenge. In this paper, we initially uncover that contrastive pre-training methods are significantly impacted by concept drift wherein distributions change unpredictably, resulting in notable biases in the feature space of the pre-trained model. Empowered by causal inference, we construct a structural causal graph to analyze the impact of concept drift to contrastive pre-training systemically, and propose the causal interventional contrastive objective. Upon achieving this, we devise a resilient contrastive pre-training approach to accommodate the data stream of concept drift, with simple and scalable implementation. Extensive experiments on various downstream tasks demonstrate our resilient contrastive pre-training effectively mitigates the bias stemming from the concept drift data stream. Codes are available at https://anonymous.4open.science/r/ResilientCL/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google