Towards Learning Stochastic Population Models by Gradient Descent

要約

データから機械モデルを学習する方法の開発にますます力が注がれています。
このタスクには、パラメータの正確な推定だけでなく、適切なモデル構造も必要です。
力学系の発見に関する最近の研究では、この問題を線形方程式系として定式化しています。
ここでは、目的の定式化の自由度を大幅に高め、利用可能なデータに対する弱い条件を可能にする、いくつかのシミュレーション ベースの最適化アプローチを検討します。
比較的小さな確率的母集団モデルであっても、パラメータと構造の同時推定が最適化手順に大きな課題を引き起こすことを示します。
特に、機械学習モデルのトレーニングに一般的に使用される局所確率的勾配降下法の応用を調査します。
私たちはモデルの正確な推定を実証しましたが、節約的で解釈可能なモデルの推論を強制すると、難易度が大幅に増加することがわかりました。
この課題をどのように克服できるかについての見通しを示します。

要約(オリジナル)

Increasing effort is put into the development of methods for learning mechanistic models from data. This task entails not only the accurate estimation of parameters but also a suitable model structure. Recent work on the discovery of dynamical systems formulates this problem as a linear equation system. Here, we explore several simulation-based optimization approaches, which allow much greater freedom in the objective formulation and weaker conditions on the available data. We show that even for relatively small stochastic population models, simultaneous estimation of parameters and structure poses major challenges for optimization procedures. Particularly, we investigate the application of the local stochastic gradient descent method, commonly used for training machine learning models. We demonstrate accurate estimation of models but find that enforcing the inference of parsimonious, interpretable models drastically increases the difficulty. We give an outlook on how this challenge can be overcome.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google