Lie Group Decompositions for Equivariant Neural Networks

要約

幾何学的変換に対する不変性と等変性は、特に低データ領域で (畳み込み) ニューラル ネットワーク モデルをトレーニングする際に非常に有用な帰納的バイアスであることが証明されています。
多くの研究は、使用される対称群がコンパクトまたはアーベル、あるいはその両方である場合に焦点を当ててきました。
最近の研究では、主にリー代数と群の指数マップおよび対数マップの使用を通じて、リー群の場合に使用される変換クラスの拡大が検討されています。
このような方法のより大きな変換グループへの適用可能性は、対象グループ $G$ によっては、指数マップが全射的ではない可能性があるという事実によって制限されます。
$G$ がコンパクトでもアーベルでもない場合、さらに制限が発生します。
リー群とその均質空間の構造と幾何学を使用して、主にリー群に焦点を当てたそのような群を扱うことができるフレームワークを提示します $G = \text{GL}^{+}(n, \mathbb
{R})$ と $G = \text{SL}(n, \mathbb{R})$、およびそれらのアフィン変換 $\mathbb{R}^{n} \rtimes G$ としての表現。
不変統合とグローバルパラメータ化は、「より大きな」グループを個別に処理できるサブグループと部分多様体に分解することによって実現されます。
このフレームワークの下で、コンボリューション カーネルをパラメータ化してアフィン変換に関して等変なモデルを構築する方法を示します。
標準的なアフィン不変ベンチマーク分類タスクでモデルの堅牢性と分布外汎化能力を評価しました。この場合、以前のすべての等変モデルおよびすべてのカプセル ネットワーク提案を上回っています。

要約(オリジナル)

Invariance and equivariance to geometrical transformations have proven to be very useful inductive biases when training (convolutional) neural network models, especially in the low-data regime. Much work has focused on the case where the symmetry group employed is compact or abelian, or both. Recent work has explored enlarging the class of transformations used to the case of Lie groups, principally through the use of their Lie algebra, as well as the group exponential and logarithm maps. The applicability of such methods to larger transformation groups is limited by the fact that depending on the group of interest $G$, the exponential map may not be surjective. Further limitations are encountered when $G$ is neither compact nor abelian. Using the structure and geometry of Lie groups and their homogeneous spaces, we present a framework by which it is possible to work with such groups primarily focusing on the Lie groups $G = \text{GL}^{+}(n, \mathbb{R})$ and $G = \text{SL}(n, \mathbb{R})$, as well as their representation as affine transformations $\mathbb{R}^{n} \rtimes G$. Invariant integration as well as a global parametrization is realized by decomposing the `larger` groups into subgroups and submanifolds which can be handled individually. Under this framework, we show how convolution kernels can be parametrized to build models equivariant with respect to affine transformations. We evaluate the robustness and out-of-distribution generalisation capability of our model on the standard affine-invariant benchmark classification task, where we outperform all previous equivariant models as well as all Capsule Network proposals.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google