Benchmark Generation Framework with Customizable Distortions for Image Classifier Robustness

要約

画像分類モデルの堅牢性を評価するための敵対的ベンチマークを生成するための新しいフレームワークを紹介します。
当社のフレームワークを使用すると、ユーザーは画像に最適に適用される歪みの種類をカスタマイズできるため、展開に関連する特定の歪みに対処するのに役立ちます。
このベンチマークは、さまざまな画像分類器の堅牢性を評価するために、さまざまな歪みレベルでデータセットを生成できます。
私たちの結果は、ResNet-50、Inception-V3、VGG-16 などの画像分類モデルのいずれかを使用してフレームワークによって生成された敵対的サンプルが有効であり、他のモデルに転送して失敗させる可能性があることを示しています。
これらの失敗は、これらのモデルが最先端の技術を使用して敵対的に再トレーニングされた場合でも発生し、敵対的サンプルの一般化可能性を示しています。
CIFAR-10 および ImageNet の最先端のベンチマーク技術と比較して、正味 $L_2$ 歪みの点で競争力のあるパフォーマンスを達成しています。
ただし、私たちのフレームワークが、不自然なアーティファクトや色のにじみを引き起こすことなく、ガウス ノイズのような単純な歪みを使用してそのような結果を達成することを実証します。
これは、モデルベースの強化学習 (RL) エージェントと、摂動に対するモデルの感度を求める画像のディープ ツリー検索を 1 レベルの分析とアクションに削減する技術によって可能になります。
歪みを選択し、複数のクラスの分類確率しきい値を設定できる柔軟性により、私たちのフレームワークはアルゴリズム監査に適しています。

要約(オリジナル)

We present a novel framework for generating adversarial benchmarks to evaluate the robustness of image classification models. Our framework allows users to customize the types of distortions to be optimally applied to images, which helps address the specific distortions relevant to their deployment. The benchmark can generate datasets at various distortion levels to assess the robustness of different image classifiers. Our results show that the adversarial samples generated by our framework with any of the image classification models, like ResNet-50, Inception-V3, and VGG-16, are effective and transferable to other models causing them to fail. These failures happen even when these models are adversarially retrained using state-of-the-art techniques, demonstrating the generalizability of our adversarial samples. We achieve competitive performance in terms of net $L_2$ distortion compared to state-of-the-art benchmark techniques on CIFAR-10 and ImageNet; however, we demonstrate our framework achieves such results with simple distortions like Gaussian noise without introducing unnatural artifacts or color bleeds. This is made possible by a model-based reinforcement learning (RL) agent and a technique that reduces a deep tree search of the image for model sensitivity to perturbations, to a one-level analysis and action. The flexibility of choosing distortions and setting classification probability thresholds for multiple classes makes our framework suitable for algorithmic audits.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google