The Price of Freedom: Exploring Expressivity and Runtime Tradeoffs in Equivariant Tensor Products

要約

$ e（3）$ – 等変量ニューラルネットワークは、幅広い3Dモデリングタスクにわたって成功を示しています。
これらのネットワークの基本的な操作はテンソル製品です。テンソル製品は、2つの幾何学的特徴を等しく等しい方法で相互作用させて、新しい機能を作成します。
テンソル製品の計算の複雑さが高いため、この操作のランタイムを最適化するために多大な努力が投資されています。
たとえば、Luo et al。
（2024）最近、重要なスピードアップを約束するGaunt Tensor製品（GTP）を提案しました。
この作業では、多くのテンソル製品操作の慎重で体系的な分析を提供します。
特に、さまざまなテンソル製品が同じ操作を実行していないことを強調します。
報告されたスピードアップは通常、表現力を犠牲にして提供されます。
これらの違いを特徴付けるために、表現力と相互作用性の尺度を紹介します。
さらに、GTPの元の実装は、漸近ランタイムで無料で球形グリッドを直接使用することで大幅に簡素化できることを認識しました。
この球形グリッドアプローチは、ベンチマークでより速く、MACE間のポテンシャルの実際のトレーニングでは30 \％です。
最後に、さまざまなテンソル製品操作の最初の体系的な微生物を提供します。
理論的なランタイム保証は、経験的パフォーマンスとは大きく異なる可能性があり、慎重なアプリケーション固有のベンチマークの必要性を示していることがわかります。
コードは\ href {https://github.com/atomicarchitects/priceoffreedom} {https://github.com/atomicarchitects/priceoffreedom}で入手できます。

要約(オリジナル)

$E(3)$-equivariant neural networks have demonstrated success across a wide range of 3D modelling tasks. A fundamental operation in these networks is the tensor product, which interacts two geometric features in an equivariant manner to create new features. Due to the high computational complexity of the tensor product, significant effort has been invested to optimize the runtime of this operation. For example, Luo et al. (2024) recently proposed the Gaunt tensor product (GTP) which promises a significant speedup. In this work, we provide a careful, systematic analysis of a number of tensor product operations. In particular, we emphasize that different tensor products are not performing the same operation. The reported speedups typically come at the cost of expressivity. We introduce measures of expressivity and interactability to characterize these differences. In addition, we realized the original implementation of GTP can be greatly simplified by directly using a spherical grid at no cost in asymptotic runtime. This spherical grid approach is faster on our benchmarks and in actual training of the MACE interatomic potential by 30\%. Finally, we provide the first systematic microbenchmarks of the various tensor product operations. We find that the theoretical runtime guarantees can differ wildly from empirical performance, demonstrating the need for careful application-specific benchmarking. Code is available at \href{https://github.com/atomicarchitects/PriceofFreedom}{https://github.com/atomicarchitects/PriceofFreedom}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google