Erwin: A Tree-based Hierarchical Transformer for Large-scale Physical Systems

要約

不規則なグリッドで定義された大規模な物理システムは、特に長距離相互作用とマルチスケールの結合が存在する場合、深い学習方法に大きなスケーラビリティの課題をもたらします。
注意などのすべてのペアワイズ相互作用を計算する従来のアプローチは、ノードの数と二次的にスケーリングするため、計算的に禁止されます。
樹木ベースのアルゴリズムの効率と注意メカニズムの表現率を組み合わせた、計算多体物理学の方法に触発された階層変圧器であるErwinを提示します。
Erwinは、ボールツリーパーティションを使用して計算を整理します。これにより、固定サイズのローカル近傍内でノードを並行してノードを処理することにより、線形時間の注意が整います。
新しいクロスボール相互作用メカニズムによって補完されたボールツリー構造の漸進的な粗大化と改良により、細粒の局所的な詳細とグローバルな特徴の両方をキャプチャします。
宇宙論、分子動力学、PDE解く、粒子流体のダイナミクスを含む複数のドメインにわたるErwinの有効性を示し、精度と計算効率の両方でベースラインメソッドを常に上回っています。

要約(オリジナル)

Large-scale physical systems defined on irregular grids pose significant scalability challenges for deep learning methods, especially in the presence of long-range interactions and multi-scale coupling. Traditional approaches that compute all pairwise interactions, such as attention, become computationally prohibitive as they scale quadratically with the number of nodes. We present Erwin, a hierarchical transformer inspired by methods from computational many-body physics, which combines the efficiency of tree-based algorithms with the expressivity of attention mechanisms. Erwin employs ball tree partitioning to organize computation, which enables linear-time attention by processing nodes in parallel within local neighborhoods of fixed size. Through progressive coarsening and refinement of the ball tree structure, complemented by a novel cross-ball interaction mechanism, it captures both fine-grained local details and global features. We demonstrate Erwin’s effectiveness across multiple domains, including cosmology, molecular dynamics, PDE solving, and particle fluid dynamics, where it consistently outperforms baseline methods both in accuracy and computational efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google