Equivariance with Learned Canonicalization Functions

要約

対称ベースのニューラル ネットワークは、変換のグループに対する不変性または等変性を達成するためにアーキテクチャを制約することがよくあります。
このペーパーでは、データの正規表現を生成することを学習することで、このアーキテクチャ上の制約を回避する代替案を提案します。
これらの正規化機能は、非等変バックボーン アーキテクチャに容易にプラグインできます。
一部の関心のあるグループに対して、それらを実装する明示的な方法を提供します。
私たちは、このアプローチが普遍性を享受しながら、解釈可能な洞察を提供することを示します。
経験的な結果によって裏付けられた私たちの主な仮説は、正規化を実行するために小さなニューラル ネットワークを学習する方が、事前定義されたヒューリスティックを使用するよりも優れているということです。
私たちの実験では、正規化関数の学習は、画像分類、$N$-物体ダイナミクス予測、点群分類、部品セグメンテーションなどの多くのタスクにわたって等変関数を学習する既存の手法と競合し、全体的に高速であることが示されました。

要約(オリジナル)

Symmetry-based neural networks often constrain the architecture in order to achieve invariance or equivariance to a group of transformations. In this paper, we propose an alternative that avoids this architectural constraint by learning to produce canonical representations of the data. These canonicalization functions can readily be plugged into non-equivariant backbone architectures. We offer explicit ways to implement them for some groups of interest. We show that this approach enjoys universality while providing interpretable insights. Our main hypothesis, supported by our empirical results, is that learning a small neural network to perform canonicalization is better than using predefined heuristics. Our experiments show that learning the canonicalization function is competitive with existing techniques for learning equivariant functions across many tasks, including image classification, $N$-body dynamics prediction, point cloud classification and part segmentation, while being faster across the board.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google