The Lie Derivative for Measuring Learned Equivariance

要約

等変量性は、モデルの予測がデータの重要な対称性を捉えることを保証する。画像が平行移動または回転したとき、等変量モデルの画像表現はそれに応じて平行移動または回転する。畳み込みニューラルネットワークの成功は、歴史的に、そのアーキテクチャに直接エンコードされた平行移動と結びついています。しかし、ビジョントランスフォーマーの成功は、アーキテクチャに平行移動に対する明確なバイアスを持たないため、この説明に疑問を投げかけ、拡張とトレーニングデータもその性能に重要な役割を果たす可能性を示唆している。本研究では、近年のビジョンモデルにおける等変量性の役割をより深く理解するために、強力な数学的基盤と最小限のハイパーパラメータで等変量性を測定する手法であるLie微分を導入する。Lie微分を用いて、CNN、トランスフォーマー、Mixerアーキテクチャを含む数百の事前学習済みモデルの等変量特性を研究する。この分析の規模により、アーキテクチャの影響をモデルサイズや学習方法のような他の要因から分離することができます。驚くべきことに、我々は、均質性の多くの違反が、ポイントワイズ非線形性などのユビキタスネットワークレイヤーの空間エイリアシングにリンクすることができ、モデルが大きく、より正確になると、アーキテクチャに関係なく、より均質性を示す傾向があることを見いだしました。例えば、トランスフォーマーは学習後、畳み込みニューラルネットワークよりも等価になることがあります。

要約(オリジナル)

Equivariance guarantees that a model’s predictions capture key symmetries in data. When an image is translated or rotated, an equivariant model’s representation of that image will translate or rotate accordingly. The success of convolutional neural networks has historically been tied to translation equivariance directly encoded in their architecture. The rising success of vision transformers, which have no explicit architectural bias towards equivariance, challenges this narrative and suggests that augmentations and training data might also play a significant role in their performance. In order to better understand the role of equivariance in recent vision models, we introduce the Lie derivative, a method for measuring equivariance with strong mathematical foundations and minimal hyperparameters. Using the Lie derivative, we study the equivariance properties of hundreds of pretrained models, spanning CNNs, transformers, and Mixer architectures. The scale of our analysis allows us to separate the impact of architecture from other factors like model size or training method. Surprisingly, we find that many violations of equivariance can be linked to spatial aliasing in ubiquitous network layers, such as pointwise non-linearities, and that as models get larger and more accurate they tend to display more equivariance, regardless of architecture. For example, transformers can be more equivariant than convolutional neural networks after training.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL