MetaMask: Revisiting Dimensional Confounder for Self-Supervised Learning

要約

自己教師付き学習の成功例として、対照学習は入力サンプルの歪みの間で共有される不変情報を学習することを目的としている。対照学習は、サンプリング戦略やアーキテクチャ設計において継続的な進歩を遂げてきたが、課題とは無関係な情報の干渉と、些細な定数解の繰り返し存在に関連するサンプルの非効率性という2つの根強い欠点を依然として残している。我々は次元解析の観点から、次元の冗長性と次元の交絡がこの現象の背後にある本質的な問題であることを発見し、この視点を支持する実験的証拠を提供する。さらに、次元の冗長性と交絡に対する表現を学習するために、メタ学習によって学習された次元のマスクの略であるメタマスクを提案する。MetaMaskは、次元の冗長性に対処するために冗長性削減技術を採用し、交絡因子を含む特定の次元の勾配効果を低減する次元マスクを革新的に導入する。このマスクは、典型的な自己教師付き課題に対するマスク表現の性能を改善する目的で、メタ学習パラダイムを採用して学習される。我々は、MetaMaskが典型的な対照的手法と比較して、下流の分類に対してより厳しいリスク境界を得ることができることを証明するために、確かな理論的分析を提供する。経験的には、我々の手法は様々なベンチマークにおいて最先端の性能を達成している。

要約(オリジナル)

As a successful approach to self-supervised learning, contrastive learning aims to learn invariant information shared among distortions of the input sample. While contrastive learning has yielded continuous advancements in sampling strategy and architecture design, it still remains two persistent defects: the interference of task-irrelevant information and sample inefficiency, which are related to the recurring existence of trivial constant solutions. From the perspective of dimensional analysis, we find out that the dimensional redundancy and dimensional confounder are the intrinsic issues behind the phenomena, and provide experimental evidence to support our viewpoint. We further propose a simple yet effective approach MetaMask, short for the dimensional Mask learned by Meta-learning, to learn representations against dimensional redundancy and confounder. MetaMask adopts the redundancy-reduction technique to tackle the dimensional redundancy issue and innovatively introduces a dimensional mask to reduce the gradient effects of specific dimensions containing the confounder, which is trained by employing a meta-learning paradigm with the objective of improving the performance of masked representations on a typical self-supervised task. We provide solid theoretical analyses to prove MetaMask can obtain tighter risk bounds for downstream classification compared to typical contrastive methods. Empirically, our method achieves state-of-the-art performance on various benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL