Embracing the black box: Heading towards foundation models for causal discovery from time series data

要約

時系列データからの因果関係の発見には、深層学習技術に基づくソリューションを含む、多くの既存のソリューションが含まれます。
ただし、これらの方法は通常、深層学習で最も普及しているパラダイムの 1 つであるエンドツーエンド学習を推奨するものではありません。
このギャップに対処するために、私たちは因果的事前トレーニングと呼ぶものを検討します。
教師ありの方法で、多変量​​時系列から基礎となる因果グラフへの直接マッピングを学習することを目的とした方法論。
私たちの経験的発見は、トレーニングとテストの時系列サンプルがそのダイナミクスのほとんどを共有していると仮定すると、教師ありの方法での因果関係の発見が可能であることを示唆しています。
さらに重要なことは、追加のデータが同じダイナミクスを共有していない場合でも、Causal Pretraining のパフォーマンスはデータとモデルのサイズに応じて向上する可能性があるという証拠を発見したことです。
さらに、因果的に事前学習されたニューラル ネットワークを使用した実世界データの因果関係の発見が制限内で可能である例を提供します。
これは因果関係発見のための基礎モデルの可能性を示唆していると我々は主張する。

要約(オリジナル)

Causal discovery from time series data encompasses many existing solutions, including those based on deep learning techniques. However, these methods typically do not endorse one of the most prevalent paradigms in deep learning: End-to-end learning. To address this gap, we explore what we call Causal Pretraining. A methodology that aims to learn a direct mapping from multivariate time series to the underlying causal graphs in a supervised manner. Our empirical findings suggest that causal discovery in a supervised manner is possible, assuming that the training and test time series samples share most of their dynamics. More importantly, we found evidence that the performance of Causal Pretraining can increase with data and model size, even if the additional data do not share the same dynamics. Further, we provide examples where causal discovery for real-world data with causally pretrained neural networks is possible within limits. We argue that this hints at the possibility of a foundation model for causal discovery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google