Out-of-Domain Generalization in Dynamical Systems Reconstruction

要約

科学では、支配方程式、力学則、基礎となる経験的現象を見つけることに興味があります。
従来の科学モデルは人間の洞察と実験のサイクルを通じて導出されてきましたが、最近ではディープラーニング (DL) 技術が進歩し、時系列データから直接動的システム (DS) を再構築しています。
最先端の動的システム再構成 (DSR) 手法は、観測された DS の不変かつ長期的な特性を捕捉することに期待を示していますが、観測されていないドメインに一般化する能力には未解決の課題が残されています。
しかし、これは実行可能な科学理論に期待される重要な特性です。
この研究では、DSR の一般化に対処する正式なフレームワークを提供します。
DSR のアウトオブドメイン (OOD) 一般化 (OODG) が、機械学習の他の場所で考慮されている OODG と大きく異なる理由と方法を説明します。
DSR モデルの学習可能性の概念を形式化するために、トポロジー概念とエルゴード理論に基づいた数学的概念を導入します。
我々は、ブラックボックス DL 技術では、適切な構造的事前条件がなければ、一般的に、一般化する DSR モデルを学習できないことを正式に証明します。
また、これまでに提案された DSR アルゴリズムの主要なクラスを考慮して、これを経験的に示し、それらが位相空間全体にわたって一般化できない場所と理由を示します。
私たちの研究は、DSR における OODG の初めての包括的な数学的処理を提供し、OODG の根本的な問題がどこにあるのか、そして実際にどのように対処できるのかについて概念的な理解を深めます。

要約(オリジナル)

In science we are interested in finding the governing equations, the dynamical rules, underlying empirical phenomena. While traditionally scientific models are derived through cycles of human insight and experimentation, recently deep learning (DL) techniques have been advanced to reconstruct dynamical systems (DS) directly from time series data. State-of-the-art dynamical systems reconstruction (DSR) methods show promise in capturing invariant and long-term properties of observed DS, but their ability to generalize to unobserved domains remains an open challenge. Yet, this is a crucial property we would expect from any viable scientific theory. In this work, we provide a formal framework that addresses generalization in DSR. We explain why and how out-of-domain (OOD) generalization (OODG) in DSR profoundly differs from OODG considered elsewhere in machine learning. We introduce mathematical notions based on topological concepts and ergodic theory to formalize the idea of learnability of a DSR model. We formally prove that black-box DL techniques, without adequate structural priors, generally will not be able to learn a generalizing DSR model. We also show this empirically, considering major classes of DSR algorithms proposed so far, and illustrate where and why they fail to generalize across the whole phase space. Our study provides the first comprehensive mathematical treatment of OODG in DSR, and gives a deeper conceptual understanding of where the fundamental problems in OODG lie and how they could possibly be addressed in practice.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google