Neural Structure Learning with Stochastic Differential Equations

要約

生物学、金融、気候科学など、多くの科学分野において、時間観測から変数間の基本的な関係を発見することは長年の課題であった。このようなシステムのダイナミクスは、多くの場合、連続時間確率過程を用いて記述するのが最適である。残念ながら、既存の構造学習アプローチのほとんどは、基礎となるプロセスが離散時間で進化し、かつ観測が一定の時間間隔で行われることを前提としている。このような不一致な仮定は、しばしば誤った構造やモデルを学習することにつながる。本研究では、ニューラルネットワーク確率微分方程式（SDE）と変分推論を組み合わせ、可能性のある構造に対する事後分布を推論する、新しい構造学習手法SCOTCHを紹介する。この連続時間アプローチは、任意の時点における観測値からの学習と予測との両方を自然に扱うことができる。理論的には、SDEとSCOTCHが構造的に識別可能であるための十分条件を確立し、無限データ限界下での整合性を証明する。経験的には、本アプローチが、合成データセットと実世界データセットの両方において、規則的なサンプリング間隔と不規則なサンプリング間隔の下で、関連するベースラインと比較して、構造学習性能を向上させることを実証する。

要約(オリジナル)

Discovering the underlying relationships among variables from temporal observations has been a longstanding challenge in numerous scientific disciplines, including biology, finance, and climate science. The dynamics of such systems are often best described using continuous-time stochastic processes. Unfortunately, most existing structure learning approaches assume that the underlying process evolves in discrete-time and/or observations occur at regular time intervals. These mismatched assumptions can often lead to incorrect learned structures and models. In this work, we introduce a novel structure learning method, SCOTCH, which combines neural stochastic differential equations (SDE) with variational inference to infer a posterior distribution over possible structures. This continuous-time approach can naturally handle both learning from and predicting observations at arbitrary time points. Theoretically, we establish sufficient conditions for an SDE and SCOTCH to be structurally identifiable, and prove its consistency under infinite data limits. Empirically, we demonstrate that our approach leads to improved structure learning performance on both synthetic and real-world datasets compared to relevant baselines under regular and irregular sampling intervals.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL