The Lie Derivative for Measuring Learned Equivariance

要約

等分散により、モデルの予測がデータ内の重要な対称性を捉えていることが保証されます。
画像が平行移動または回転されると、その画像の等変モデル表現もそれに応じて平行移動または回転します。
畳み込みニューラル ネットワークの成功は、歴史的に、そのアーキテクチャに直接エンコードされた変換の等分散性と結びついています。
等分散性に対する明示的なアーキテクチャ上のバイアスがないビジョン トランスフォーマーの成功の増加は、この物語に疑問を投げかけており、拡張とトレーニング データもパフォーマンスに重要な役割を果たす可能性があることを示唆しています。
最近の視覚モデルにおける等分散の役割をより深く理解するために、強力な数学的基礎と最小限のハイパーパラメータで等分散を測定する方法であるリー導関数を紹介します。
リー導関数を使用して、CNN、トランスフォーマー、ミキサー アーキテクチャにわたる数百の事前トレーニング済みモデルの等分散特性を研究します。
分析の規模により、アーキテクチャの影響をモデルのサイズやトレーニング方法などの他の要素から分離することができます。
驚くべきことに、等分散性の違反の多くは、点単位の非線形性など、ユビキタス ネットワーク層における空間エイリアシングに関連している可能性があり、モデルが大きくなり、より正確になるにつれて、アーキテクチャに関係なく、より多くの等分散性を示す傾向があることがわかりました。
たとえば、変換器は、トレーニング後に畳み込みニューラル ネットワークよりも等変になる可能性があります。

要約(オリジナル)

Equivariance guarantees that a model’s predictions capture key symmetries in data. When an image is translated or rotated, an equivariant model’s representation of that image will translate or rotate accordingly. The success of convolutional neural networks has historically been tied to translation equivariance directly encoded in their architecture. The rising success of vision transformers, which have no explicit architectural bias towards equivariance, challenges this narrative and suggests that augmentations and training data might also play a significant role in their performance. In order to better understand the role of equivariance in recent vision models, we introduce the Lie derivative, a method for measuring equivariance with strong mathematical foundations and minimal hyperparameters. Using the Lie derivative, we study the equivariance properties of hundreds of pretrained models, spanning CNNs, transformers, and Mixer architectures. The scale of our analysis allows us to separate the impact of architecture from other factors like model size or training method. Surprisingly, we find that many violations of equivariance can be linked to spatial aliasing in ubiquitous network layers, such as pointwise non-linearities, and that as models get larger and more accurate they tend to display more equivariance, regardless of architecture. For example, transformers can be more equivariant than convolutional neural networks after training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google