Fuse It or Lose It: Deep Fusion for Multimodal Simulation-Based Inference

要約

ニューラル ネットワークを使用したシミュレーション ベースの推論において、さまざまなソースからの異種データを統合する方法であるマルチモーダル ニューラル事後推定 (MultiNPE) を紹介します。
アテンションベースのディープフュージョンラーニングの進歩にヒントを得て、研究者はさまざまなドメインからのデータを分析し、複雑な数学モデルのパラメーターをより高い精度で推測できるようになります。
私たちは、MultiNPE (初期、後期、ハイブリッド) に対するさまざまなマルチモーダル融合アプローチを定式化し、3 つの挑戦的な数値実験でそのパフォーマンスを評価します。
MultiNPE は、ベンチマーク モデルで単純なベースラインを上回るパフォーマンスを発揮するだけでなく、神経科学と心臓学の代表的な科学モデルでも優れた推論を実現します。
さらに、部分的に欠損したデータがさまざまな融合戦略に及ぼす影響を体系的に調査します。
私たちのさまざまな実験を通じて、マルチモーダル シミュレーション ベースの推論を実際に応用するための最適な方法として、後期融合技術とハイブリッド融合技術が浮上しています。

要約(オリジナル)

We present multimodal neural posterior estimation (MultiNPE), a method to integrate heterogeneous data from different sources in simulation-based inference with neural networks. Inspired by advances in attention-based deep fusion learning, it empowers researchers to analyze data from different domains and infer the parameters of complex mathematical models with increased accuracy. We formulate different multimodal fusion approaches for MultiNPE (early, late, and hybrid) and evaluate their performance in three challenging numerical experiments. MultiNPE not only outperforms na\’ive baselines on a benchmark model, but also achieves superior inference on representative scientific models from neuroscience and cardiology. In addition, we systematically investigate the impact of partially missing data on the different fusion strategies. Across our different experiments, late and hybrid fusion techniques emerge as the methods of choice for practical applications of multimodal simulation-based inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google