Geometric Algebra Transformers

要約

幾何学データに関連する問題は、物理学、化学、ロボット工学、コンピューター ビジョン、その他多くの分野で発生します。
このようなデータは、点、方向ベクトル、平行移動、回転など、さまざまな形式を取ることができますが、現時点では、対称性を尊重しながら、このようなさまざまな幾何学的タイプに適用できる単一のアーキテクチャはありません。
この論文では、幾何学的データの汎用アーキテクチャである幾何代数変換器 (GATr) を紹介します。
GATr は、射影幾何学 (またはクリフォード) 代数の入力、出力、および隠れ状態を表し、一般的な幾何学オブジェクトとそれに作用する演算子の効率的な 16 次元ベクトル空間表現を提供します。
GATr は、3D ユークリッド空間の対称群である E(3) に関して等変です。
Transformer としての GATr は多用途、効率的、拡張性があります。
私たちは、n 体モデリングから大規模な動脈メッシュの壁せん断応力推定、ロボット動作計画までの問題で GATr を実証します。
GATr は、エラー、データ効率、およびスケーラビリティの点で、非幾何ベースラインと等変ベースラインの両方を常に上回っています。

要約(オリジナル)

Problems involving geometric data arise in physics, chemistry, robotics, computer vision, and many other fields. Such data can take numerous forms, such as points, direction vectors, translations, or rotations, but to date there is no single architecture that can be applied to such a wide variety of geometric types while respecting their symmetries. In this paper we introduce the Geometric Algebra Transformer (GATr), a general-purpose architecture for geometric data. GATr represents inputs, outputs, and hidden states in the projective geometric (or Clifford) algebra, which offers an efficient 16-dimensional vector-space representation of common geometric objects as well as operators acting on them. GATr is equivariant with respect to E(3), the symmetry group of 3D Euclidean space. As a Transformer, GATr is versatile, efficient, and scalable. We demonstrate GATr in problems from n-body modeling to wall-shear-stress estimation on large arterial meshes to robotic motion planning. GATr consistently outperforms both non-geometric and equivariant baselines in terms of error, data efficiency, and scalability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google