LaM-SLidE: Latent Space Modeling of Spatial Dynamical Systems via Linked Entities

要約

生成モデルは、深い学習の最近の進歩を先導しており、動的システムでの軌跡サンプリングに対する強い約束を示しています。
ただし、潜在スペースモデリングパラダイムは画像とビデオ生成を変換しましたが、ほとんどの動的なシステムでは同様のアプローチがより困難です。
そのようなシステムは、化学分子構造から集合的な人間の行動に至るまで、エンティティの相互作用によって説明され、それらを本質的に接続パターンと時間の経過とともにエンティティのトレーサビリティにリンクします。
私たちのアプローチ、Lam-Slide（リンクされたエンティティを介した空間動的システムの潜在スペースモデリング）は、グラフニューラルネットワークの利点、つまりタイムステップ全体のエンティティのトレーサビリティを組み合わせて、画像とビデオの最近の進歩の効率とスケーラビリティを組み合わせています。
潜在的なエンコーダーとデコーダーが凍結され、潜在空間で生成モデリングを可能にする生成。
LAMスライドの中心的なアイデアは、識別子表現（IDS）を導入して、潜在システム表現からエンティティプロパティ、例えばエンティティ座標の取得を可能にし、したがってトレーサビリティを可能にすることです。
実験的には、異なるドメインで、LAMスライドが速度、精度、および一般化可能性の点で好意的に機能することを示します。
（コードはhttps://github.com/ml-jku/lam-slideで入手できます）

要約(オリジナル)

Generative models are spearheading recent progress in deep learning, showing strong promise for trajectory sampling in dynamical systems as well. However, while latent space modeling paradigms have transformed image and video generation, similar approaches are more difficult for most dynamical systems. Such systems — from chemical molecule structures to collective human behavior — are described by interactions of entities, making them inherently linked to connectivity patterns and the traceability of entities over time. Our approach, LaM-SLidE (Latent Space Modeling of Spatial Dynamical Systems via Linked Entities), combines the advantages of graph neural networks, i.e., the traceability of entities across time-steps, with the efficiency and scalability of recent advances in image and video generation, where pre-trained encoder and decoder are frozen to enable generative modeling in the latent space. The core idea of LaM-SLidE is to introduce identifier representations (IDs) to allow for retrieval of entity properties, e.g., entity coordinates, from latent system representations and thus enables traceability. Experimentally, across different domains, we show that LaM-SLidE performs favorably in terms of speed, accuracy, and generalizability. (Code is available at https://github.com/ml-jku/LaM-SLidE)

arxiv情報

提供元, 利用サービス

arxiv.jp, Google