MetaMask: Revisiting Dimensional Confounder for Self-Supervised Learning

要約

自己教師あり学習への成功したアプローチとして、対照学習は、入力サンプルの歪み間で共有される不変の情報を学習することを目的としています。
対照的学習は、サンプリング戦略とアーキテクチャ設計において継続的な進歩をもたらしましたが、タスクに関係のない情報の干渉とサンプルの非効率という 2 つの永続的な欠陥が依然として残っています。
次元分析の観点から、次元の冗長性と次元の交絡因子が現象の背後にある本質的な問題であることを発見し、私たちの見解を裏付ける実験的証拠を提供します。
さらに、次元の冗長性と交絡因子に対する表現を学習するための、メタ学習によって学習された次元マスクの略であるメタマスクと呼ばれる、シンプルかつ効果的なアプローチを提案します。
MetaMask は、次元の冗長性の問題に取り組むために冗長性削減手法を採用し、交絡因子を含む特定の次元の勾配効果を削減するために次元マスクを革新的に導入します。交絡因子は、マスクのパフォーマンスを向上させる目的でメタ学習パラダイムを採用することによってトレーニングされます。
典型的な自己管理タスクの表現。
MetaMask が一般的な対照的な方法と比較して、ダウンストリーム分類のより厳しいリスク境界を取得できることを証明するための確かな理論的分析を提供します。
経験的に、私たちの方法はさまざまなベンチマークで最先端のパフォーマンスを達成しています。

要約(オリジナル)

As a successful approach to self-supervised learning, contrastive learning aims to learn invariant information shared among distortions of the input sample. While contrastive learning has yielded continuous advancements in sampling strategy and architecture design, it still remains two persistent defects: the interference of task-irrelevant information and sample inefficiency, which are related to the recurring existence of trivial constant solutions. From the perspective of dimensional analysis, we find out that the dimensional redundancy and dimensional confounder are the intrinsic issues behind the phenomena, and provide experimental evidence to support our viewpoint. We further propose a simple yet effective approach MetaMask, short for the dimensional Mask learned by Meta-learning, to learn representations against dimensional redundancy and confounder. MetaMask adopts the redundancy-reduction technique to tackle the dimensional redundancy issue and innovatively introduces a dimensional mask to reduce the gradient effects of specific dimensions containing the confounder, which is trained by employing a meta-learning paradigm with the objective of improving the performance of masked representations on a typical self-supervised task. We provide solid theoretical analyses to prove MetaMask can obtain tighter risk bounds for downstream classification compared to typical contrastive methods. Empirically, our method achieves state-of-the-art performance on various benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google