Towards Building More Robust Models with Frequency Bias

要約

ディープ ニューラル ネットワークはさまざまな分野で成功を収めているにもかかわらず、敵対的なサンプルに対する脆弱性がその幅広い応用の大きな障害となっています。
最近、いくつかの研究では、敵対的にトレーニングされたモデルが、より高い堅牢性を達成するために低周波情報の重要性を強調していることが示唆されています。
この周波数特性を利用する試みがいくつか行われてきましたが、それらはすべて、ローパス フィルターを入力画像に直接適用すると、識別情報が不可逆的に失われ、明確な周波数特徴を持つデータセットに対する一般化性が低下するという問題に直面していました。
この論文では、周波数優先制御モジュールと呼ばれるプラグ アンド プレイ モジュールを紹介します。このモジュールは、中間特徴表現の低周波数成分と高周波数成分を適応的に再構成し、ロバストな学習における周波数のより有効な利用を提供します。
実証研究によると、私たちが提案したモジュールはあらゆる敵対的トレーニング フレームワークに簡単に組み込むことができ、さまざまなアーキテクチャやデータセットにわたってモデルの堅牢性がさらに向上します。
さらに、堅牢なモデルの周波数バイアスが敵対的トレーニング プロセスとその最終的な堅牢性にどのような影響を与えるかを調べるための実験が行われ、興味深い洞察が明らかになりました。

要約(オリジナル)

The vulnerability of deep neural networks to adversarial samples has been a major impediment to their broad applications, despite their success in various fields. Recently, some works suggested that adversarially-trained models emphasize the importance of low-frequency information to achieve higher robustness. While several attempts have been made to leverage this frequency characteristic, they have all faced the issue that applying low-pass filters directly to input images leads to irreversible loss of discriminative information and poor generalizability to datasets with distinct frequency features. This paper presents a plug-and-play module called the Frequency Preference Control Module that adaptively reconfigures the low- and high-frequency components of intermediate feature representations, providing better utilization of frequency in robust learning. Empirical studies show that our proposed module can be easily incorporated into any adversarial training framework, further improving model robustness across different architectures and datasets. Additionally, experiments were conducted to examine how the frequency bias of robust models impacts the adversarial training process and its final robustness, revealing interesting insights.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google