Improving Scientific Machine Learning via Attention and Multiple Shooting

要約

科学的機械学習 (SciML) は、ドメイン認識型の解釈可能なモデルと不可知論的な機械学習技術を相乗的に組み合わせる急成長分野です。
この研究では、SciML 生成モデル GOKU-nets の進化版である GOKU-UI を紹介します。
GOKU-UI は、元のモデルの範囲を広げて、確率微分方程式 (SDE) などの他のクラスの微分方程式を組み込むだけでなく、潜在空間での注意メカニズムと新しい複数射撃トレーニング戦略も統合します。
これらの機能強化により、シミュレーション データと経験的データの評価で実証されているように、再構成タスクと予測タスクの両方でパフォーマンスが大幅に向上しました。
具体的には、GOKU-UI は、トレーニング セットが 16 倍小さい場合でも、合成データセット上のすべてのベースライン モデルを上回り、その顕著なデータ効率が強調されました。
さらに、確率的スチュアート・ランダウ振動子を動的コアに組み込みながら、経験的な人間の脳データに適用した場合、再構成タスクにおけるすべてのベースライン手法を上回っただけでなく、最大 15 秒先の将来の脳活動をより適切に予測できることも実証されました。
安静状態の fMRI データで GOKU-UI をトレーニングすることで、脳全体のダイナミクスを潜在表現にエンコードし、脳の機能についての洞察を提供し、精神状態の分類などの実用的なアプリケーションへの道を開く効果的な低次元ダイナミクス システム モデルを学習しました。
状態や精神状態。
最終的に、私たちの研究は科学的機械学習の分野にさらなる推進力を与え、確立された科学的洞察が最新の機械学習と織り交ぜられたときの進歩の可能性を示しています。

要約(オリジナル)

Scientific Machine Learning (SciML) is a burgeoning field that synergistically combines domain-aware and interpretable models with agnostic machine learning techniques. In this work, we introduce GOKU-UI, an evolution of the SciML generative model GOKU-nets. GOKU-UI not only broadens the original model’s spectrum to incorporate other classes of differential equations, such as Stochastic Differential Equations (SDEs), but also integrates attention mechanisms and a novel multiple shooting training strategy in the latent space. These enhancements have led to a significant increase in its performance in both reconstruction and forecast tasks, as demonstrated by our evaluation of simulated and empirical data. Specifically, GOKU-UI outperformed all baseline models on synthetic datasets even with a training set 16-fold smaller, underscoring its remarkable data efficiency. Furthermore, when applied to empirical human brain data, while incorporating stochastic Stuart-Landau oscillators into its dynamical core, it not only surpassed all baseline methods in the reconstruction task, but also demonstrated better prediction of future brain activity up to 15 seconds ahead. By training GOKU-UI on resting state fMRI data, we encoded whole-brain dynamics into a latent representation, learning an effective low-dimensional dynamical system model that could offer insights into brain functionality and open avenues for practical applications such as the classification of mental states or psychiatric conditions. Ultimately, our research provides further impetus for the field of Scientific Machine Learning, showcasing the potential for advancements when established scientific insights are interwoven with modern machine learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google