VN-Transformer: Rotation-Equivariant Attention for Vector Neurons

要約

回転等分散は、運動予測や3次元知覚など、多くの実用的なアプリケーションにおいて望ましい性質であり、サンプルの効率性、より良い汎化、入力摂動に対する頑健性などの利点をもたらすことが可能である。ベクトルニューロン（VN）は最近開発されたフレームワークであり、1次元のスカラーニューロンを3次元の「ベクトルニューロン」に拡張することにより、標準的な機械学習操作の回転等価アナログを導き出す、シンプルかつ効果的なアプローチを提供する。我々は、現在のVNモデルのいくつかの欠点に対処するために、新しい「VN-Transformer」アーキテクチャを導入する。我々の貢献は以下の通りである。VN-Transformerは、回転二変数注目機構を導出し、従来のベクトルニューロンで必要であった重い前処理を不要にした。点群解像度のマルチスケール縮小のための回転等価機構を導き、推論と学習を大幅に高速化する。$(iv)$ 等価性の小さなトレードオフ（$epsilon$-adximate equivariance）を用いて、加速ハードウェア上での数値安定性と学習の頑健性を大幅に改善できることを示し、モデルにおける等価性違反の伝搬を制限した。最後に、我々のVN-Transformerを3次元形状分類と運動予測に適用し、説得力のある結果を得た。

要約(オリジナル)

Rotation equivariance is a desirable property in many practical applications such as motion forecasting and 3D perception, where it can offer benefits like sample efficiency, better generalization, and robustness to input perturbations. Vector Neurons (VN) is a recently developed framework offering a simple yet effective approach for deriving rotation-equivariant analogs of standard machine learning operations by extending one-dimensional scalar neurons to three-dimensional ‘vector neurons.’ We introduce a novel ‘VN-Transformer’ architecture to address several shortcomings of the current VN models. Our contributions are: $(i)$ we derive a rotation-equivariant attention mechanism which eliminates the need for the heavy feature preprocessing required by the original Vector Neurons models; $(ii)$ we extend the VN framework to support non-spatial attributes, expanding the applicability of these models to real-world datasets; $(iii)$ we derive a rotation-equivariant mechanism for multi-scale reduction of point-cloud resolution, greatly speeding up inference and training; $(iv)$ we show that small tradeoffs in equivariance ($\epsilon$-approximate equivariance) can be used to obtain large improvements in numerical stability and training robustness on accelerated hardware, and we bound the propagation of equivariance violations in our models. Finally, we apply our VN-Transformer to 3D shape classification and motion forecasting with compelling results.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL