What Affects Learned Equivariance in Deep Image Recognition Models?

要約

タイトル: 訓練された等変量が深層画像認識モデルに与える影響は何か？

要約:

– 神経ネットワークにおいて幾何学的変換に関する等変性は、データ効率性、パラメータ効率性、そしてドメイン外の視点シフトに対する堅牢性を向上させる。
– 一方、これらの等変性が設計されていない場合、ネットワークはデータから等変関数を学習することができる。この場合、我々はより改良された等変性の尺度を提示し、学習された等変性を定量化できる。
– ImageNetにおける検証精度と翻訳等変性の学習量には相関があることが明らかになったため、ネットワーク内で学習された等変量を増加させることに焦点を当てて調査を行った。
– データ拡張、モデル容量の削減、畳み込みといった帰納的バイアスによってニューラルネットワーク内で学習された等変性を高めることができる。

要約(オリジナル)

Equivariance w.r.t. geometric transformations in neural networks improves data efficiency, parameter efficiency and robustness to out-of-domain perspective shifts. When equivariance is not designed into a neural network, the network can still learn equivariant functions from the data. We quantify this learned equivariance, by proposing an improved measure for equivariance. We find evidence for a correlation between learned translation equivariance and validation accuracy on ImageNet. We therefore investigate what can increase the learned equivariance in neural networks, and find that data augmentation, reduced model capacity and inductive bias in the form of convolutions induce higher learned equivariance in neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI