A Canonization Perspective on Invariant and Equivariant Learning

要約

多くのアプリケーションでは、データに固有の対称性により、ニューラル ネットワークが特定のグループに対して不変性または等変性を示すことが望まれます。
最近、フレーム平均化手法が、入力に依存するグループのサブセット、つまりフレームを平均化することで対称性を効率的に達成するための統一フレームワークとして登場しました。
私たちに現在欠けているのは、フレームの設計に関する原則的な理解です。
この研究では、フレームのデザインの本質的かつ完全なビューを提供する正規化の観点を導入します。
正規化は、入力を正規形式にマッピングすることで不変性を実現する古典的なアプローチです。
フレームと標準形式の間には固有の関係が存在することを示します。
この接続を利用すると、フレームの複雑さを効率的に比較したり、特定のフレームの最適性を判断したりできます。
この原則に基づいて、理論的にも経験的にも、既存の方法よりも厳密に優れた固有ベクトルの新しいフレーム (最適なものもある) を設計します。
正規化の観点に帰着すると、以前の方法間の同等性がさらに明らかになります。
これらの観察は、正規化が既存のフレーム平均化手法の基本的な理解を提供し、既存の等変学習手法と不変学習手法を統合することを示唆しています。

要約(オリジナル)

In many applications, we desire neural networks to exhibit invariance or equivariance to certain groups due to symmetries inherent in the data. Recently, frame-averaging methods emerged to be a unified framework for attaining symmetries efficiently by averaging over input-dependent subsets of the group, i.e., frames. What we currently lack is a principled understanding of the design of frames. In this work, we introduce a canonization perspective that provides an essential and complete view of the design of frames. Canonization is a classic approach for attaining invariance by mapping inputs to their canonical forms. We show that there exists an inherent connection between frames and canonical forms. Leveraging this connection, we can efficiently compare the complexity of frames as well as determine the optimality of certain frames. Guided by this principle, we design novel frames for eigenvectors that are strictly superior to existing methods — some are even optimal — both theoretically and empirically. The reduction to the canonization perspective further uncovers equivalences between previous methods. These observations suggest that canonization provides a fundamental understanding of existing frame-averaging methods and unifies existing equivariant and invariant learning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google