Frequency-Based Vulnerability Analysis of Deep Learning Models against Image Corruptions

要約

深層学習モデルは、現実世界の画像破損を処理する際に課題に直面することがよくあります。
これに応えて、研究者らは画像破損データセットを開発し、そのような破損を処理する際のディープ ニューラル ネットワークのパフォーマンスを評価しました。
ただし、これらのデータセットには重大な制限があります。現実のシナリオで発生するすべての破損を考慮できるわけではありません。
このギャップに対処するために、モデルの失敗を引き起こす可能性のある特定の種類の破損を識別するように設計されたアルゴリズムである MUFIA (Multiplicative Filter Attack) を紹介します。
私たちのアルゴリズムは、元の画像との意味的な類似性を維持しながら、モデルを誤分類しやすくする画像周波数成分の組み合わせを特定します。
既知の一般的な破損に対して堅牢になるようにトレーニングされた最先端のモデルでも、MUFIA によって作成された可視性の低いベースの破損には苦戦していることがわかりました。
これは、現実世界のさまざまな画像破損に対するモデルの堅牢性を高めるための、より包括的なアプローチの必要性を浮き彫りにしています。

要約(オリジナル)

Deep learning models often face challenges when handling real-world image corruptions. In response, researchers have developed image corruption datasets to evaluate the performance of deep neural networks in handling such corruptions. However, these datasets have a significant limitation: they do not account for all corruptions encountered in real-life scenarios. To address this gap, we present MUFIA (Multiplicative Filter Attack), an algorithm designed to identify the specific types of corruptions that can cause models to fail. Our algorithm identifies the combination of image frequency components that render a model susceptible to misclassification while preserving the semantic similarity to the original image. We find that even state-of-the-art models trained to be robust against known common corruptions struggle against the low visibility-based corruptions crafted by MUFIA. This highlights the need for more comprehensive approaches to enhance model robustness against a wider range of real-world image corruptions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google