Spatiotemporal Learning on Cell-embedded Graphs

要約

物理システムのデータ駆動型シミュレーションは最近大きな注目を集めており、多くのニューラル モデルが開発されています。
特に、メッシュベースのグラフ ニューラル ネットワーク (GNN) は、任意の幾何学的ドメインにわたる時空間ダイナミクスの予測において大きな可能性を示しています。
ただし、GNN の既存のノードエッジ メッセージ受け渡しメカニズムでは、モデルの表現学習能力が制限されます。
この論文では、パフォーマンスを向上させて時空間ダイナミクスを学習するためのセル埋め込み GNN モデル (別名 CeGNN) を提案しました。
具体的には、ノードエッジメッセージパッシングプロセスに学習可能なセル属性を導入し、地域特徴の空間依存性をより適切に捕捉します。
このような戦略は本質的に、ローカル集約スキームを 1 次 (例: エッジからノード) から高次 (例: ボリュームからエッジ、次にノード) にアップグレードし、メッセージ パッシングでのボリューム情報を利用します。
一方、新しい機能強化ブロックは、潜在特徴を基底関数として扱うことにより、CeGNN のパフォーマンスをさらに向上させ、過度の平滑性の問題を軽減するように設計されています。
さまざまな PDE システムと 1 つの現実世界のデータセットに関する広範な実験により、CeGNN が他のベースライン モデルと比較して優れたパフォーマンスを達成し、特にいくつかの PDE システムで予測誤差が最大 1 桁減少することが実証されました。

要約(オリジナル)

Data-driven simulation of physical systems has recently kindled significant attention, where many neural models have been developed. In particular, mesh-based graph neural networks (GNNs) have demonstrated significant potential in predicting spatiotemporal dynamics across arbitrary geometric domains. However, the existing node-edge message passing mechanism in GNNs limits the model’s representation learning ability. In this paper, we proposed a cell-embedded GNN model (aka CeGNN) to learn spatiotemporal dynamics with lifted performance. Specifically, we introduce a learnable cell attribution to the node-edge message passing process, which better captures the spatial dependency of regional features. Such a strategy essentially upgrades the local aggregation scheme from the first order (e.g., from edge to node) to a higher order (e.g., from volume to edge and then to node), which takes advantage of volumetric information in message passing. Meanwhile, a novel feature-enhanced block is designed to further improve the performance of CeGNN and relieve the over-smoothness problem, via treating the latent features as basis functions. The extensive experiments on various PDE systems and one real-world dataset demonstrate that CeGNN achieves superior performance compared with other baseline models, particularly reducing the prediction error with up to 1 orders of magnitude on several PDE systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google