Wavelets Beat Monkeys at Adversarial Robustness

要約

タイトル：ウェーブレットはサルよりも敵対的な強さに勝つ

要約：

– ニューラルネットワークの頑健性を向上させ、敵対的ノイズに対する耐性を強化する研究は注目を集めている。
– 現在、敵対的トレーニング（AT）が最先端の防御策だが、標準トレーニングに比べて膨大なリソースを消費し、正確性を犠牲にして頑健性を確保している。
– 最近の研究を参考に、生物学的ツールを使用して人間の視覚のように堅牢に一般化するニューラルネットワークを開発することを目的としている。
– 著者たちは、サルの視覚野（V1）を模倣したニューロンの一つ目の層のあるバックエンド構造を現在のCNNビジョンモデルに適応させたネットワーク構造を設計している。
– 最前置のVOneBlockをオフシェルフのパラメーター無料のScatternetに置き換えた後に、単純な一様なガウスノイズに従うことで、敵対的強さをはるかに高めることができる。
– CIFAR-10ベンチマークでの豊富な実験により、ウェーブレット散乱変換が人間の皮質を厳密に模倣することによって可能だと思われた耐性を向上させる新しい洞察を提供することが示された。

要約(オリジナル)

Research on improving the robustness of neural networks to adversarial noise – imperceptible malicious perturbations of the data – has received significant attention. The currently uncontested state-of-the-art defense to obtain robust deep neural networks is Adversarial Training (AT), but it consumes significantly more resources compared to standard training and trades off accuracy for robustness. An inspiring recent work [Dapello et al.] aims to bring neurobiological tools to the question: How can we develop Neural Nets that robustly generalize like human vision? [Dapello et al.] design a network structure with a neural hidden first layer that mimics the primate primary visual cortex (V1), followed by a back-end structure adapted from current CNN vision models. It seems to achieve non-trivial adversarial robustness on standard vision benchmarks when tested on small perturbations. Here we revisit this biologically inspired work, and ask whether a principled parameter-free representation with inspiration from physics is able to achieve the same goal. We discover that the wavelet scattering transform can replace the complex V1-cortex and simple uniform Gaussian noise can take the role of neural stochasticity, to achieve adversarial robustness. In extensive experiments on the CIFAR-10 benchmark with adaptive adversarial attacks we show that: 1) Robustness of VOneBlock architectures is relatively weak (though non-zero) when the strength of the adversarial attack radius is set to commonly used benchmarks. 2) Replacing the front-end VOneBlock by an off-the-shelf parameter-free Scatternet followed by simple uniform Gaussian noise can achieve much more substantial adversarial robustness without adversarial training. Our work shows how physically inspired structures yield new insights into robustness that were previously only thought possible by meticulously mimicking the human cortex.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI