Geometric Hyena Networks for Large-scale Equivariant Learning

要約

生物学的、化学的、および物理的なシステムをモデル化する際には、等気経過度を維持しながらグローバルな幾何学的コンテキストを処理することが重要です。
しかし、これは大規模な等聴力とグローバルなコンテキストの計算的要求のために困難です。
同等の自己関節などの標準的な方法は、二次の複雑さに悩まされますが、距離ベースのメッセージなどのローカルな方法は、グローバル情報を犠牲にします。
状態空間と長い詐欺的なモデルの最近の成功に触発され、幾何学的システムの最初の同等の長い継続モデルである幾何学的なハイエナを紹介します。
幾何学的なハイエナは、回転と翻訳に等しい積極性を維持しながら、地下幾何学的なコンテキストを亜二量体の複雑さでキャプチャします。
幾何学的なハイエナは、大規模なRNA分子と完全なタンパク質分子ダイナミクスの全原子特性予測で評価され、既存の等量モデルを上回り、記憶を大幅に少なくし、その等しい自己触媒を計算します。
特に、私たちのモデルは、等量変圧器よりも20倍速い30Kトークンの幾何学的コンテキストを処理し、同じ予算内で72倍長いコンテキストを許可します。

要約(オリジナル)

Processing global geometric context while preserving equivariance is crucial when modeling biological, chemical, and physical systems. Yet, this is challenging due to the computational demands of equivariance and global context at scale. Standard methods such as equivariant self-attention suffer from quadratic complexity, while local methods such as distance-based message passing sacrifice global information. Inspired by the recent success of state-space and long-convolutional models, we introduce Geometric Hyena, the first equivariant long-convolutional model for geometric systems. Geometric Hyena captures global geometric context at sub-quadratic complexity while maintaining equivariance to rotations and translations. Evaluated on all-atom property prediction of large RNA molecules and full protein molecular dynamics, Geometric Hyena outperforms existing equivariant models while requiring significantly less memory and compute that equivariant self-attention. Notably, our model processes the geometric context of 30k tokens 20x faster than the equivariant transformer and allows 72x longer context within the same budget.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google