Towards Causal Representation Learning and Deconfounding from Indefinite Data

要約

因果関係の発見と深層学習の間の相互受粉により、非統計データ (画像、テキストなど) は、従来の因果関係データとの特性および方法の点で重大な矛盾に遭遇します。
これらのさまざまな形式のデータを統合するために、私たちは 2 つの新しい観点から因果関係データを再定義し、3 つのデータ パラダイムを提案します。
その中でも、不定のデータ (対話やビデオ ソースなど) は、サンプルの利用率が低く、分布の仮定が不可能であるため、不定のデータから因果表現を学習することは、現時点ではほとんど調査されていないという事実につながります。
これら 2 つの問題を解決するために因果強度変分モデルを設計します。
具体的には、独立したノイズの代わりに因果関係の強さを潜在変数として利用して、証拠の下限を構築します。
この設計思想により、さまざまな構造の因果関係の強さを分布とみなし、2D マトリックスとして表現できます。
さらに、潜在交絡因子を考慮して、因果グラフ G を 2 つの関係サブグラフ O と C に分解します。O には観測変数間の純粋な関係が含まれ、C は潜在変数から観測変数への関係を表します。
上記の設計を動的変分推論モデルとして実装し、潜在交絡のもとで不定データから因果表現を学習するように調整しました。
最後に、合成データと現実世界のデータに対して包括的な実験を実施し、手法の有効性を実証します。

要約(オリジナル)

Owing to the cross-pollination between causal discovery and deep learning, non-statistical data (e.g., images, text, etc.) encounters significant conflicts in terms of properties and methods with traditional causal data. To unify these data types of varying forms, we redefine causal data from two novel perspectives and then propose three data paradigms. Among them, the indefinite data (like dialogues or video sources) induce low sample utilization and incapability of the distribution assumption, both leading to the fact that learning causal representation from indefinite data is, as of yet, largely unexplored. We design the causal strength variational model to settle down these two problems. Specifically, we leverage the causal strength instead of independent noise as the latent variable to construct evidence lower bound. By this design ethos, The causal strengths of different structures are regarded as a distribution and can be expressed as a 2D matrix. Moreover, considering the latent confounders, we disentangle the causal graph G into two relation subgraphs O and C. O contains pure relations between observed variables, while C represents the relations from latent variables to observed variables. We implement the above designs as a dynamic variational inference model, tailored to learn causal representation from indefinite data under latent confounding. Finally, we conduct comprehensive experiments on synthetic and real-world data to demonstrate the effectiveness of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google