Invariance Measures for Neural Networks

要約

ニューラル ネットワークの不変性は多くのタスクに役立ち、必要です。
ただし、ほとんどのニューラル ネットワーク モデルの不変性の表現は特徴付けられていません。
ニューラルネットワークの不変性を内部表現の観点から定量化するための手段を提案します。
この測定は効率的で解釈可能であり、あらゆるニューラル ネットワーク モデルに適用できます。
また、以前に定義されたメジャーよりも不変性に対してより敏感です。
アフィン変換と CIFAR10 および MNIST データセットの領域における測定値とその特性 (安定性と解釈可能性を含む) を検証します。
この測定値を使用して、CNN モデルの最初の分析を実行し、その内部不変性がランダムな重みの初期化に対しては著しく安定しているが、データセットや変換の変更に対しては安定していないことを示します。
私たちは、この措置により、不変性表現における研究の新たな道が可能になると信じています。

要約(オリジナル)

Invariances in neural networks are useful and necessary for many tasks. However, the representation of the invariance of most neural network models has not been characterized. We propose measures to quantify the invariance of neural networks in terms of their internal representation. The measures are efficient and interpretable, and can be applied to any neural network model. They are also more sensitive to invariance than previously defined measures. We validate the measures and their properties in the domain of affine transformations and the CIFAR10 and MNIST datasets, including their stability and interpretability. Using the measures, we perform a first analysis of CNN models and show that their internal invariance is remarkably stable to random weight initializations, but not to changes in dataset or transformation. We believe the measures will enable new avenues of research in invariance representation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google