On Causality in Domain Adaptation and Semi-Supervised Learning: an Information-Theoretic Analysis for Parametric Models

要約

特に因果関係を組み込んだ教師なしドメイン適応 (UDA) と半教師あり学習 (SSL) の最近の進歩により、これらの学習問題における方法論的な大幅な改善がもたらされました。
ただし、UDA/SSL の汎化パフォーマンスにおける因果関係の役割を説明する正式な理論はまだ不足しています。
この論文では、パラメトリック確率モデルを使用したさまざまな因果関係設定の下で、トレーニング インスタンスとして $m$ ラベル付きソース データと $n$ ラベルなしターゲット データにアクセスする UDA/SSL シナリオを検討します。
私たちは、対象領域における予測の学習パフォーマンス（過剰リスクなど）を情報理論の観点から研究します。
具体的には、2 つのシナリオを区別します。特徴が原因でラベルが結果である場合、学習問題は因果学習と呼ばれ、そうでない場合は反因果学習と呼ばれます。
因果学習では、ソース ドメインとターゲット ドメイン間のラベル付け分布が変化しない場合に限り、超過リスクはソース サンプルのサイズに $O(\frac{1}{m})$ の割合で依存することがわかります。
反因果的学習では、ラベルのないデータが通常 $O(\frac{1}{n})$ の割合でパフォーマンスを支配していることを示します。
これらの結果は、データのサンプル サイズと、さまざまな因果メカニズムによる学習問題の難易度の間の関係を明らかにします。

要約(オリジナル)

Recent advancements in unsupervised domain adaptation (UDA) and semi-supervised learning (SSL), particularly incorporating causality, have led to significant methodological improvements in these learning problems. However, a formal theory that explains the role of causality in the generalization performance of UDA/SSL is still lacking. In this paper, we consider the UDA/SSL scenarios where we access $m$ labelled source data and $n$ unlabelled target data as training instances under different causal settings with a parametric probabilistic model. We study the learning performance (e.g., excess risk) of prediction in the target domain from an information-theoretic perspective. Specifically, we distinguish two scenarios: the learning problem is called causal learning if the feature is the cause and the label is the effect, and is called anti-causal learning otherwise. We show that in causal learning, the excess risk depends on the size of the source sample at a rate of $O(\frac{1}{m})$ only if the labelling distribution between the source and target domains remains unchanged. In anti-causal learning, we show that the unlabelled data dominate the performance at a rate of typically $O(\frac{1}{n})$. These results bring out the relationship between the data sample size and the hardness of the learning problem with different causal mechanisms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google