Improving the Accuracy and Robustness of CNNs Using a Deep CCA Neural Data Regularizer

要約

畳み込みニューラルネットワーク（CNN）が物体認識の精度を高めるにつれて、その表現が霊長類の視覚系に似てくることがわかった。この発見をきっかけに、私たちや他の研究者は、その意味するところが逆ではないか、と考えるようになった。CNNの表現がより脳に近くなれば、ネットワークもより正確になるのだろうか？この問いに取り組む以前の試みは、正則化手法の限界もあって、精度の向上が非常に緩やかであることを示した。この限界を克服するために、我々は深層正準相関分析（DCCA）を用いて、CNNの画像表現とサルの視覚野の画像表現との類似性を最適化するCNN用の新しい神経データ正則化器を開発しました。この新しいニューラルデータ正則化器を使用すると、分類精度とスーパークラス内精度の両方において、これまでの最先端のニューラルデータ正則化器と比較して、はるかに大きな性能向上が見られました。また、これらのネットワークは、正則化されていないものに比べて、敵対的な攻撃に対してより頑健です。これらの結果は、ニューラルデータ正則化がCNNの性能を押し上げることを確認し、より大きな性能向上を得る新しい手法を紹介するものである。

要約(オリジナル)

As convolutional neural networks (CNNs) become more accurate at object recognition, their representations become more similar to the primate visual system. This finding has inspired us and other researchers to ask if the implication also runs the other way: If CNN representations become more brain-like, does the network become more accurate? Previous attempts to address this question showed very modest gains in accuracy, owing in part to limitations of the regularization method. To overcome these limitations, we developed a new neural data regularizer for CNNs that uses Deep Canonical Correlation Analysis (DCCA) to optimize the resemblance of the CNN’s image representations to that of the monkey visual cortex. Using this new neural data regularizer, we see much larger performance gains in both classification accuracy and within-super-class accuracy, as compared to the previous state-of-the-art neural data regularizers. These networks are also more robust to adversarial attacks than their unregularized counterparts. Together, these results confirm that neural data regularization can push CNN performance higher, and introduces a new method that obtains a larger performance boost.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL