Interventional Contrastive Learning with Meta Semantic Regularizer

要約

対照学習（CL）ベースの自己監視学習モデルは、ペアワイズ方式で視覚表現を学習します。
普及しているCLモデルは大きな進歩を遂げましたが、このホワイトペーパーでは、見過ごされがちな現象を明らかにします。CLモデルを完全な画像でトレーニングすると、完全な画像でテストされたパフォーマンスは前景領域よりも優れています。
CLモデルが前景領域でトレーニングされている場合、完全な画像でテストされたパフォーマンスは、前景領域よりも劣ります。
この観察は、画像の背景がモデル学習の意味情報を妨害する可能性があり、それらの影響が完全に排除されていないことを明らかにしています。
この問題に取り組むために、交絡因子として背景をモデル化するための構造的因果モデル（SCM）を構築します。
提案されたSCMに向けて因果的介入を実行するために、バックドア調整ベースの正則化方法、つまりメタセマンティック正則化を使用した介入的対照学習（ICL-MSR）を提案します。
ICL-MSRは、既存のCLメソッドに組み込んで、表現学習からの背景の気晴らしを軽減できます。
理論的には、ICL-MSRがより厳密なエラー限界を達成することを証明します。
経験的に、複数のベンチマークデータセットでの実験は、ICL-MSRがさまざまな最先端のCLメソッドのパフォーマンスを改善できることを示しています。

要約(オリジナル)

Contrastive learning (CL)-based self-supervised learning models learn visual representations in a pairwise manner. Although the prevailing CL model has achieved great progress, in this paper, we uncover an ever-overlooked phenomenon: When the CL model is trained with full images, the performance tested in full images is better than that in foreground areas; when the CL model is trained with foreground areas, the performance tested in full images is worse than that in foreground areas. This observation reveals that backgrounds in images may interfere with the model learning semantic information and their influence has not been fully eliminated. To tackle this issue, we build a Structural Causal Model (SCM) to model the background as a confounder. We propose a backdoor adjustment-based regularization method, namely Interventional Contrastive Learning with Meta Semantic Regularizer (ICL-MSR), to perform causal intervention towards the proposed SCM. ICL-MSR can be incorporated into any existing CL methods to alleviate background distractions from representation learning. Theoretically, we prove that ICL-MSR achieves a tighter error bound. Empirically, our experiments on multiple benchmark datasets demonstrate that ICL-MSR is able to improve the performances of different state-of-the-art CL methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google