Fourier Sensitivity and Regularization of Computer Vision Models

要約

最近の研究では、ディープ ニューラル ネットワークがトレーニング データのフーリエ統計にラッチし、入力のフーリエ基底方向に対する感度が向上することが経験的に示されています。
このコンピュータ ビジョン モデルのフーリエ感度を理解し、修正することで、堅牢性を向上させることができます。
したがって、この論文では、原理に基づいたアプローチを使用して、ディープニューラルネットワークの周波数感度特性を研究します。
最初に基底トリックを提案し、関数の入力勾配のユニタリ変換を使用して、変換によって誘導される基底の勾配を計算できることを証明します。
この結果を使用して、入力勾配のユニタリ フーリエ変換を使用して微分可能なモデルのフーリエ感度の一般的な尺度を提案します。
ディープ ニューラル ネットワークに適用すると、コンピューター ビジョン モデルは、データセット、トレーニング方法、およびアーキテクチャに依存する特定の周波数に一貫して敏感であることがわかります。
この尺度に基づいて、モデルのフーリエ感度と周波数バイアスを修正するためのフーリエ正則化フレームワークをさらに提案します。
提案した正則化ファミリを使用して、ディープ ニューラル ネットワークがロバスト性評価の分類精度を向上させることを示します。

要約(オリジナル)

Recent work has empirically shown that deep neural networks latch on to the Fourier statistics of training data and show increased sensitivity to Fourier-basis directions in the input. Understanding and modifying this Fourier-sensitivity of computer vision models may help improve their robustness. Hence, in this paper we study the frequency sensitivity characteristics of deep neural networks using a principled approach. We first propose a basis trick, proving that unitary transformations of the input-gradient of a function can be used to compute its gradient in the basis induced by the transformation. Using this result, we propose a general measure of any differentiable model’s Fourier-sensitivity using the unitary Fourier-transform of its input-gradient. When applied to deep neural networks, we find that computer vision models are consistently sensitive to particular frequencies dependent on the dataset, training method and architecture. Based on this measure, we further propose a Fourier-regularization framework to modify the Fourier-sensitivities and frequency bias of models. Using our proposed regularizer-family, we demonstrate that deep neural networks obtain improved classification accuracy on robustness evaluations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google