Euclidean Fast Attention: Machine Learning Global Atomic Representations at Linear Cost

要約

長距離相関は、多くの機械学習タスク、特にユークリッド空間に埋め込まれたデータの場合に不可欠であり、正確な予測には遠く離れたコンポーネントの相対的な位置と方向が重要となることがよくあります。
自己注意は、これらの全体的な効果を捉えるための魅力的なメカニズムを提供しますが、その二次関数の複雑さにより、実用上重大な制限が生じます。
この問題は、機械学習力場 (MLFF) の厳しい効率要件により長距離相互作用を正確にモデル化できないことが多い計算化学で特に顕著です。
これに対処するために、ユークリッド データ用に設計された線形スケーリング アテンションのようなメカニズムであるユークリッド ファースト アテンション (EFA) を導入します。これは、既存のモデル アーキテクチャに簡単に組み込むことができます。
EFA の中核コンポーネントは、本質的な物理的対称性を尊重しながら空間情報の効率的なエンコードを可能にする新しいユークリッド回転位置エンコーディング (ERoPE) です。
私たちは、EFA が多様な長距離効果を効果的に捕捉し、従来の MLFF では不正確な結果が得られる困難な化学相互作用を EFA を備えた MLFF で記述できることを経験的に示しています。

要約(オリジナル)

Long-range correlations are essential across numerous machine learning tasks, especially for data embedded in Euclidean space, where the relative positions and orientations of distant components are often critical for accurate predictions. Self-attention offers a compelling mechanism for capturing these global effects, but its quadratic complexity presents a significant practical limitation. This problem is particularly pronounced in computational chemistry, where the stringent efficiency requirements of machine learning force fields (MLFFs) often preclude accurately modeling long-range interactions. To address this, we introduce Euclidean fast attention (EFA), a linear-scaling attention-like mechanism designed for Euclidean data, which can be easily incorporated into existing model architectures. A core component of EFA are novel Euclidean rotary positional encodings (ERoPE), which enable efficient encoding of spatial information while respecting essential physical symmetries. We empirically demonstrate that EFA effectively captures diverse long-range effects, enabling EFA-equipped MLFFs to describe challenging chemical interactions for which conventional MLFFs yield incorrect results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google