Representation Disentaglement via Regularization by Causal Identification

要約

この研究では、もつれ解除表現学習における基礎となるデータ生成プロセスの仮定を記述するために、因果コライダー構造化モデルの使用を提案します。
これにより、従来の i.i.d. が拡張されます。
因数分解仮定モデル $p(\mathbf{y}) = \prod_{i} p(\mathbf{y}_i )$、偏ったデータセット (サンプリング選択の偏りなど) からの学習を処理するには不十分です。
コライダー構造は、実際には無関係であっても、基礎となる生成変数間の条件依存関係が存在する可能性があることを説明しており、もつれの解消を複雑にしています。
因果推論のルーブリックに基づいて、この問題は因果関係の特定という条件の下で調整できることを示します。
\textit{collider} モデルの依存関係特性を制御することを目的とした、データと制約の組み合わせから達成できます。
このために、我々は、大規模な生成モデルの動作を、因果関係の識別によって課せられる解きほぐしの制約に合わせて調整するように設計されたモジュール式正則化エンジンである識別による正則化 (ReI) を提案します。
標準ベンチマークに関する経験的証拠は、変分フレームワークでのもつれ解除表現の学習における ReI の優位性を示しています。
さらに、実世界のデータセットでは、私たちのフレームワークが、分布外の例に対して堅牢な解釈可能な表現をもたらし、ドメイン知識から期待される真の効果と一致することを示します。

要約(オリジナル)

In this work, we propose the use of a causal collider structured model to describe the underlying data generative process assumptions in disentangled representation learning. This extends the conventional i.i.d. factorization assumption model $p(\mathbf{y}) = \prod_{i} p(\mathbf{y}_i )$, inadequate to handle learning from biased datasets (e.g., with sampling selection bias). The collider structure, explains that conditional dependencies between the underlying generating variables may be exist, even when these are in reality unrelated, complicating disentanglement. Under the rubric of causal inference, we show this issue can be reconciled under the condition of causal identification; attainable from data and a combination of constraints, aimed at controlling the dependencies characteristic of the \textit{collider} model. For this, we propose regularization by identification (ReI), a modular regularization engine designed to align the behavior of large scale generative models with the disentanglement constraints imposed by causal identification. Empirical evidence on standard benchmarks demonstrates the superiority of ReI in learning disentangled representations in a variational framework. In a real-world dataset we additionally show that our framework, results in interpretable representations robust to out-of-distribution examples and that align with the true expected effect from domain knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google