Foundation Inference Models for Markov Jump Processes

要約

マルコフジャンプ過程は、離散状態空間で進化する動的システムを記述する連続時間の確率過程です。
これらのプロセスは自然科学や機械学習に広く応用されていますが、その推論は決して簡単なものではないことが知られています。
この研究では、2 つのコンポーネントで構成される、有界状態空間上でのノイズの多い疎な観測からのマルコフ ジャンプ プロセス (MJP) のゼロショット推論の方法論を紹介します。
まず、MJP のファミリーにわたる広範な確率分布、および考えられる観測時間およびノイズ メカニズムにわたる広範な確率分布。これを使用して、隠れた MJP とそのノイズの多い観測プロセスの合成データセットをシミュレートします。
2 つ目は、シミュレートされた観測値のサブセットを処理し、教師ありの方法でターゲット MJP の初期条件とレート行列を出力するようにトレーニングされたニューラル ネットワーク モデルです。
我々は、まったく同じ (事前訓練された) モデルが、異なる次元の状態空間で進化する隠れた MJP をゼロショット方式で推論できることを経験的に示します。
具体的には、(i) ブラウンモーターの一種である離散フラッシングラチェットシステムと、(ii) 分子シミュレーション、(iii) 実験的なイオンチャネルデータ、(iv) 単純なタンパク質折り畳みモデルにおける構造ダイナミクスを記述する MJP を推論します。
さらに、私たちのモデルは、ターゲットのデータセットに合わせて微調整された最先端のモデルと同等のパフォーマンスを発揮することを示しています。

要約(オリジナル)

Markov jump processes are continuous-time stochastic processes which describe dynamical systems evolving in discrete state spaces. These processes find wide application in the natural sciences and machine learning, but their inference is known to be far from trivial. In this work we introduce a methodology for zero-shot inference of Markov jump processes (MJPs), on bounded state spaces, from noisy and sparse observations, which consists of two components. First, a broad probability distribution over families of MJPs, as well as over possible observation times and noise mechanisms, with which we simulate a synthetic dataset of hidden MJPs and their noisy observation process. Second, a neural network model that processes subsets of the simulated observations, and that is trained to output the initial condition and rate matrix of the target MJP in a supervised way. We empirically demonstrate that one and the same (pretrained) model can infer, in a zero-shot fashion, hidden MJPs evolving in state spaces of different dimensionalities. Specifically, we infer MJPs which describe (i) discrete flashing ratchet systems, which are a type of Brownian motors, and the conformational dynamics in (ii) molecular simulations, (iii) experimental ion channel data and (iv) simple protein folding models. What is more, we show that our model performs on par with state-of-the-art models which are finetuned to the target datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google