Stable and Causal Inference for Discriminative Self-supervised Deep Visual Representations

要約

近年、自己教師あり識別法は、さまざまな視覚タスクの進歩において大きな進歩を遂げています。
データの歪み/増大に対して堅牢なデータ エンコーダーを学習するという中心的なアイデアは、単純ですが非常に効果的です。
多くの研究で、さまざまな学習方法が経験的に成功していることが実証されていますが、結果として得られる学習された表現は不安定さを示し、下流のパフォーマンスを妨げる可能性があります。
本研究では、これらの不安定な行動を説明するために、因果関係の観点から自己教師あり識別法を分析し、それらを克服するための解決策を提案します。
私たちのアプローチは、グラウンドトゥルースの因果ソースをある程度分離するための自己教師あり識別手法の能力を経験的に実証した以前の研究からインスピレーションを得ています。
因果関係を強化した表現学習に関する以前の研究とは異なり、時間効率を向上させるために、トレーニング プロセス中にソリューションを適用するのではなく、推論プロセス中にソリューションを適用します。
制御された画像データセットと現実的な画像データセットの両方での実験を通じて、制御された合成データを使用して線形変換を調整することを含む、提案されたソリューションがこれらの問題に対処するのに効果的であることを示します。

要約(オリジナル)

In recent years, discriminative self-supervised methods have made significant strides in advancing various visual tasks. The central idea of learning a data encoder that is robust to data distortions/augmentations is straightforward yet highly effective. Although many studies have demonstrated the empirical success of various learning methods, the resulting learned representations can exhibit instability and hinder downstream performance. In this study, we analyze discriminative self-supervised methods from a causal perspective to explain these unstable behaviors and propose solutions to overcome them. Our approach draws inspiration from prior works that empirically demonstrate the ability of discriminative self-supervised methods to demix ground truth causal sources to some extent. Unlike previous work on causality-empowered representation learning, we do not apply our solutions during the training process but rather during the inference process to improve time efficiency. Through experiments on both controlled image datasets and realistic image datasets, we show that our proposed solutions, which involve tempering a linear transformation with controlled synthetic data, are effective in addressing these issues.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google