NSA: Naturalistic Support Artifact to Boost Network Confidence

要約

ビジュアル AI システムは、現実世界における自然および合成の物理的破損に対して脆弱です。
このような破損は多くの場合予期せず発生し、モデルのパフォーマンスを変化させます。
近年、主な焦点は敵対的攻撃です。
ただし、自然の破損 (雪、霧、塵など) はビジュアル AI システムにとって遍在する脅威であり、同様に重要であると考えられる必要があります。
既存の研究の多くは、自然破損に対して堅牢なモデルをトレーニングするための興味深いソリューションを提案しています。
これらの作業では、モデルのトレーニングに追加コストがかかる画像拡張を活用するか、シーンに疑わしいパッチを配置して敵対的ではないサンプルを設計します。
この研究では、ロバストな予測のための自然主義的サポート アーティファクト (NSA) のアイデアを提案します。
NSA は、モデル パラメーターにアクセスできず、シーンにアーティファクトを追加することが可能なシナリオで有益であることが示されています。
NSA は、DC-GAN を使用したアーティファクト トレーニングを通じて生成された自然な外観のオブジェクトであり、シーン内で高い視覚的忠実度を実現します。
Imagenette データセットで自然な破損に対してテストを行ったところ、予測信頼度スコアが 4 倍向上したことが観察されました。
また、敵対的精度を平均 8\% 向上させる NSA の機能も実証します。
最後に、顕著性マップを使用して NSA を定性的に分析し、予測の信頼性向上にどのように役立つかを理解します。

要約(オリジナル)

Visual AI systems are vulnerable to natural and synthetic physical corruption in the real-world. Such corruption often arises unexpectedly and alters the model’s performance. In recent years, the primary focus has been on adversarial attacks. However, natural corruptions (e.g., snow, fog, dust) are an omnipresent threat to visual AI systems and should be considered equally important. Many existing works propose interesting solutions to train robust models against natural corruption. These works either leverage image augmentations, which come with the additional cost of model training, or place suspicious patches in the scene to design unadversarial examples. In this work, we propose the idea of naturalistic support artifacts (NSA) for robust prediction. The NSAs are shown to be beneficial in scenarios where model parameters are inaccessible and adding artifacts in the scene is feasible. The NSAs are natural looking objects generated through artifact training using DC-GAN to have high visual fidelity in the scene. We test against natural corruptions on the Imagenette dataset and observe the improvement in prediction confidence score by four times. We also demonstrate NSA’s capability to increase adversarial accuracy by 8\% on average. Lastly, we qualitatively analyze NSAs using saliency maps to understand how they help improve prediction confidence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google