Multi-View Causal Representation Learning with Partial Observability

要約

我々は、異なるデータモダリティなど、同時に観察されたビューから学習された表現の識別可能性を研究するための統一フレームワークを提示します。
各ビューが、因果関係がある可能性のある基礎的な潜在変数のサブセットの非線形混合を構成する、部分的に観察された設定を許可します。
任意の数のビューのすべてのサブセットにわたって共有される情報は、対比学習とビューごとに 1 つのエンコーダーを使用して、滑らかな全単射まで学習できることを証明します。
また、識別可能性代数と呼ばれる、単純なルール セットを通じてどの潜在変数を識別できるかを示すグラフィック基準も提供します。
私たちの一般的なフレームワークと理論的結果は、マルチビュー非線形 ICA、もつれ解除、および因果表現学習に関するいくつかの以前の研究を統合および拡張します。
私たちは、数値、画像、およびマルチモーダル データセットに関する主張を実験的に検証します。
さらに、従来の方法のパフォーマンスが、セットアップのさまざまな特殊なケースで回復されることを示します。
全体として、部分可観測性の一般に緩やかな仮定の下で、複数の部分ビューにアクセスすることで、よりきめの細かい表現を識別できることがわかりました。

要約(オリジナル)

We present a unified framework for studying the identifiability of representations learned from simultaneously observed views, such as different data modalities. We allow a partially observed setting in which each view constitutes a nonlinear mixture of a subset of underlying latent variables, which can be causally related. We prove that the information shared across all subsets of any number of views can be learned up to a smooth bijection using contrastive learning and a single encoder per view. We also provide graphical criteria indicating which latent variables can be identified through a simple set of rules, which we refer to as identifiability algebra. Our general framework and theoretical results unify and extend several previous works on multi-view nonlinear ICA, disentanglement, and causal representation learning. We experimentally validate our claims on numerical, image, and multi-modal data sets. Further, we demonstrate that the performance of prior methods is recovered in different special cases of our setup. Overall, we find that access to multiple partial views enables us to identify a more fine-grained representation, under the generally milder assumption of partial observability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google