SCENT: Robust Spatiotemporal Learning for Continuous Scientific Data via Scalable Conditioned Neural Fields

要約

空間的学習は、空間的依存性と時間的依存性、データの高次元、およびスケーラビリティの制約の間の複雑な相互作用のために困難です。
これらの課題は、データが不規則に分布していることが多い（センサー障害からの値の欠損）および大量（例えば、高忠実度シミュレーションなど）でしばしば不規則に分布している科学ドメインでさらに増幅され、追加の計算およびモデリングの困難が発生します。
この論文では、スケーラブルで連続的に情報に基づいた空間的表現学習のための新しいフレームワークである香りを紹介します。
香りは、単一のアーキテクチャ内での補間、再建、予測を統一します。
トランスベースのエンコーダープロセッサデコーダーバックボーンの上に構築されたScentは、一般化とクエリごとのクロスアテナントメカニズムを強化するための学習可能なクエリを導入し、マルチスケールの依存関係を効果的にキャプチャします。
データサイズとモデルの複雑さの両方でスケーラビリティを確保するために、まばらな注意メカニズムを組み込み、柔軟な出力表現と任意の解像度で効率的な評価を可能にします。
広範なシミュレーションと実際の実験を通じて香りを検証し、優れたスケーラビリティを達成しながら、複数の挑戦的なタスクにわたって最先端のパフォーマンスを実証します。

要約(オリジナル)

Spatiotemporal learning is challenging due to the intricate interplay between spatial and temporal dependencies, the high dimensionality of the data, and scalability constraints. These challenges are further amplified in scientific domains, where data is often irregularly distributed (e.g., missing values from sensor failures) and high-volume (e.g., high-fidelity simulations), posing additional computational and modeling difficulties. In this paper, we present SCENT, a novel framework for scalable and continuity-informed spatiotemporal representation learning. SCENT unifies interpolation, reconstruction, and forecasting within a single architecture. Built on a transformer-based encoder-processor-decoder backbone, SCENT introduces learnable queries to enhance generalization and a query-wise cross-attention mechanism to effectively capture multi-scale dependencies. To ensure scalability in both data size and model complexity, we incorporate a sparse attention mechanism, enabling flexible output representations and efficient evaluation at arbitrary resolutions. We validate SCENT through extensive simulations and real-world experiments, demonstrating state-of-the-art performance across multiple challenging tasks while achieving superior scalability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google