Euclidean, Projective, Conformal: Choosing a Geometric Algebra for Equivariant Transformers

要約

Geometric Algebra Transformer (GATr) は、射影幾何代数に基づく幾何ディープ ラーニング用の多用途アーキテクチャです。
このアーキテクチャを青写真に一般化し、任意の幾何学 (またはクリフォード) 代数を考慮してスケーラブルなトランスフォーマ アーキテクチャを構築できるようにします。
私たちは、ユークリッド代数、射影代数、共形代数のこのアーキテクチャのバージョンを研究し、それらはすべて 3D データを表現するのに適しており、理論と実践で評価します。
最も単純なユークリッド アーキテクチャは計算コストが低いですが、対称グループが小さく、サンプル効率が悪く、射影モデルの表現力が十分ではありません。
共形代数と射影代数の改良版は両方とも、強力でパフォーマンスの高いアーキテクチャを定義します。

要約(オリジナル)

The Geometric Algebra Transformer (GATr) is a versatile architecture for geometric deep learning based on projective geometric algebra. We generalize this architecture into a blueprint that allows one to construct a scalable transformer architecture given any geometric (or Clifford) algebra. We study versions of this architecture for Euclidean, projective, and conformal algebras, all of which are suited to represent 3D data, and evaluate them in theory and practice. The simplest Euclidean architecture is computationally cheap, but has a smaller symmetry group and is not as sample-efficient, while the projective model is not sufficiently expressive. Both the conformal algebra and an improved version of the projective algebra define powerful, performant architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google