Concept-free Causal Disentanglement with Variational Graph Auto-Encoder

要約

解きほぐされた表現学習の目標は、観測データ内のすべての解釈可能な生成要素で構成されるコンパクトな表現を達成することです。
グラフ データが急速に増大するにつれて、グラフのもつれを解いた表現を学習することがますます重要になります。
既存のアプローチは、変分自動エンコーダ (VAE) またはその因果構造学習ベースの改良に依存することが多く、それぞれ独立性因子の仮定と概念ラベルの利用不能により、VAE では次善の課題が生じます。
この論文では、最適係数を近似する理論的に証明可能な厳密な上限に基づいて構築された、概念なしの因果関係の解消と呼ばれる教師なしの解決策を提案します。
これにより、データから概念構造を直接学習する SCM のような因果構造モデリングが実現します。
この考えに基づいて、変分グラフ自動エンコーダに新しい因果関係解消層を組み込むことにより、コンセプトフリー因果 VGAE (CCVGAE) を提案します。
さらに、概念のない因果関係の解きほぐしフレームワークの下で概念の一貫性を証明し、それを概念のない因果関係メタグラフ (CC-Meta-Graph) と呼ばれるメタ学習フレームワークを強化するために使用します。
私たちは、提案されたモデルである CCVGAE と CC-Meta-Graph の優位性を実証するために広範な実験を実施し、AUC に関してベースラインに対してそれぞれ最大 $29\%$ と $11\%$ の絶対的な改善に達しました。

要約(オリジナル)

In disentangled representation learning, the goal is to achieve a compact representation that consists of all interpretable generative factors in the observational data. Learning disentangled representations for graphs becomes increasingly important as graph data rapidly grows. Existing approaches often rely on Variational Auto-Encoder (VAE) or its causal structure learning-based refinement, which suffer from sub-optimality in VAEs due to the independence factor assumption and unavailability of concept labels, respectively. In this paper, we propose an unsupervised solution, dubbed concept-free causal disentanglement, built on a theoretically provable tight upper bound approximating the optimal factor. This results in an SCM-like causal structure modeling that directly learns concept structures from data. Based on this idea, we propose Concept-free Causal VGAE (CCVGAE) by incorporating a novel causal disentanglement layer into Variational Graph Auto-Encoder. Furthermore, we prove concept consistency under our concept-free causal disentanglement framework, hence employing it to enhance the meta-learning framework, called concept-free causal Meta-Graph (CC-Meta-Graph). We conduct extensive experiments to demonstrate the superiority of the proposed models: CCVGAE and CC-Meta-Graph, reaching up to $29\%$ and $11\%$ absolute improvements over baselines in terms of AUC, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google