EquiformerV2: Improved Equivariant Transformer for Scaling to Higher-Degree Representations

要約

Equiformer などの等変トランスフォーマーは、トランスフォーマーを 3D 原子システムの領域に適用する有効性を実証しています。
ただし、計算の複雑さのため、依然として小規模な等変表現に限定されています。
このペーパーでは、これらのアーキテクチャがより高度に拡張できるかどうかを調査します。
Equiformer から始めて、高次のテンソルを効率的に組み込むために、まず $SO(3)$ 畳み込みを eSCN 畳み込みに置き換えます。
次に、高次の力をより有効に活用するために、注意の再正規化、分離可能な $S^2$ 活性化、分離可能な層の正規化という 3 つのアーキテクチャの改善を提案します。
これらすべてをまとめると、私たちは EquiformerV2 を提案します。これは、大規模な OC20 データセットで以前の最先端の手法よりも力で最大 $12\%$、エネルギーで $4\%$ 優れており、より優れた速度精度の取引を提供します。
-off と、吸着エネルギーの計算に必要な DFT 計算の $2\times$ の削減。

要約(オリジナル)

Equivariant Transformers such as Equiformer have demonstrated the efficacy of applying Transformers to the domain of 3D atomistic systems. However, they are still limited to small degrees of equivariant representations due to their computational complexity. In this paper, we investigate whether these architectures can scale well to higher degrees. Starting from Equiformer, we first replace $SO(3)$ convolutions with eSCN convolutions to efficiently incorporate higher-degree tensors. Then, to better leverage the power of higher degrees, we propose three architectural improvements — attention re-normalization, separable $S^2$ activation and separable layer normalization. Putting this all together, we propose EquiformerV2, which outperforms previous state-of-the-art methods on the large-scale OC20 dataset by up to $12\%$ on forces, $4\%$ on energies, offers better speed-accuracy trade-offs, and $2\times$ reduction in DFT calculations needed for computing adsorption energies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google