Generative learning for nonlinear dynamics

要約

最新の生成機械学習モデルは、フォトリアリスティックなアートワーク、正確なタンパク質構造、会話テキストなど、トレーニング データをはるかに超えたリアルな出力を作成する驚くべき能力を示しています。
これらの成功は、生成モデルが任意の複雑な分布を効果的にパラメータ化してサンプリングする方法を学習することを示唆しています。
半世紀前に始まった非線形力学の基礎研究では、情報理論のツールを使用して時系列からカオス アトラクターの特性を推測し、実際のデータセットでカオスをパラメータ化するためのアルゴリズムの開発を動機付けました。
この観点から、私たちはこれらの古典的な作品を大規模な生成統計学習における新たなテーマに結び付けることを目指しています。
まず、時系列の状態空間モデルによって学習された潜在表現の制約を反映する古典的なアトラクターの再構築について考えます。
次に、記号近似を使用して複雑なプロセスの基礎となる最小離散生成器を比較する初期の取り組みを再検討します。これは、ブラックボックス統計モデルを抽出して解釈する現代の取り組みに関連する問題です。
新たな学際的研究は、複雑な流体の流れに対する作用素理論的手法や、生物学的データセットにおける崩れた詳細なバランスの検出など、非線形力学と学習理論の橋渡しをしています。
私たちは、将来の機械学習技術では、トランス情報減衰や複雑性とエントロピーのトレードオフなど、非線形ダイナミクスの他の古典的な概念を再考する可能性があると予想しています。

要約(オリジナル)

Modern generative machine learning models demonstrate surprising ability to create realistic outputs far beyond their training data, such as photorealistic artwork, accurate protein structures, or conversational text. These successes suggest that generative models learn to effectively parametrize and sample arbitrarily complex distributions. Beginning half a century ago, foundational works in nonlinear dynamics used tools from information theory to infer properties of chaotic attractors from time series, motivating the development of algorithms for parametrizing chaos in real datasets. In this perspective, we aim to connect these classical works to emerging themes in large-scale generative statistical learning. We first consider classical attractor reconstruction, which mirrors constraints on latent representations learned by state space models of time series. We next revisit early efforts to use symbolic approximations to compare minimal discrete generators underlying complex processes, a problem relevant to modern efforts to distill and interpret black-box statistical models. Emerging interdisciplinary works bridge nonlinear dynamics and learning theory, such as operator-theoretic methods for complex fluid flows, or detection of broken detailed balance in biological datasets. We anticipate that future machine learning techniques may revisit other classical concepts from nonlinear dynamics, such as transinformation decay and complexity-entropy tradeoffs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google