Learning Divergence Fields for Shift-Robust Graph Representations

要約

現実世界のデータ生成には、インスタンス レベルの相互依存性を引き起こす特定のジオメトリ (グラフなど) が含まれることがよくあります。
この特性により、データ生成の分布に影響を与え、トレーニングからテストまで異なる可能性がある複雑な相互依存パターンにより、学習モデルの一般化がより困難になります。
この研究では、相互依存データを伴う困難な一般化問題に対して、学習可能な発散場を備えた幾何学的拡散モデルを提案します。
各タイムステップでの確率的拡散率を使用して拡散方程式を一般化します。これは、相互依存するデータ間の多面的な情報の流れを捉えることを目的としています。
さらに、因果推論を通じて新しい学習目標を導き出し、これによりモデルがドメイン間で影響を受けない一般化可能な相互依存パターンを学習できるようになります。
実際の実装に関しては、それぞれ GCN、GAT、および Transformers の一般化バージョンと考えることができる 3 つのモデルのインスタンス化を紹介します。これらは、分布の変化に対して高度な堅牢性を備えています。
私たちは、現実世界の多様なデータセットに対する分布外一般化に対するそれらの有望な有効性を実証します。

要約(オリジナル)

Real-world data generation often involves certain geometries (e.g., graphs) that induce instance-level interdependence. This characteristic makes the generalization of learning models more difficult due to the intricate interdependent patterns that impact data-generative distributions and can vary from training to testing. In this work, we propose a geometric diffusion model with learnable divergence fields for the challenging generalization problem with interdependent data. We generalize the diffusion equation with stochastic diffusivity at each time step, which aims to capture the multi-faceted information flows among interdependent data. Furthermore, we derive a new learning objective through causal inference, which can guide the model to learn generalizable patterns of interdependence that are insensitive across domains. Regarding practical implementation, we introduce three model instantiations that can be considered as the generalized versions of GCN, GAT, and Transformers, respectively, which possess advanced robustness against distribution shifts. We demonstrate their promising efficacy for out-of-distribution generalization on diverse real-world datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google