What Affects Learned Equivariance in Deep Image Recognition Models?

要約

タイトル: ディープイメージ認識モデルの学習された相等性に影響を与えるものは何か？

要約:
– ニューラルネットワーク内の幾何学的変換に対する相等性は、データ効率性、パラメータ効率性、外部ドメインの視点変更に対する堅牢性を向上させる。
– 明示的に相等性を設計しない場合でも、ニューラルネットワークはデータから学習された相等関数を持つことができる。
– 提案された改良された相等性の測定方法により、学習された相当性を定量化することができる。
– ImageNetにおける検証精度と学習された平行移動相当性の間に相関があることがわかった。
– そのため、ニューラルネットワークにおいて学習された相当性を高めるための方法を調査し、データ拡張、モデル容量の減少、畳み込み形式の帰納的なバイアスがニューラルネットワークにおいてより高い学習された相当性を引き起こすことがわかった。

要約(オリジナル)

Equivariance w.r.t. geometric transformations in neural networks improves data efficiency, parameter efficiency and robustness to out-of-domain perspective shifts. When equivariance is not designed into a neural network, the network can still learn equivariant functions from the data. We quantify this learned equivariance, by proposing an improved measure for equivariance. We find evidence for a correlation between learned translation equivariance and validation accuracy on ImageNet. We therefore investigate what can increase the learned equivariance in neural networks, and find that data augmentation, reduced model capacity and inductive bias in the form of convolutions induce higher learned equivariance in neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI