Familiarity-Based Open-Set Recognition Under Adversarial Attacks

要約

新しいカテゴリの識別である開集合認識 (OSR) は、現実世界のアプリケーションに分類モデルを展開する際の重要なコンポーネントとなる可能性があります。
最近の研究では、最大ソフトマックス確率 (MSP) や最大ロジット スコア (MLS) などの精通度ベースのスコアリング ルールは、閉集合の精度が高い場合に強力なベースラインであることが示されています。
ただし、精通度ベースの OSR の潜在的な弱点の 1 つは、敵対的攻撃です。
ここでは、False Familiarity 攻撃と False Novelty 攻撃の両方のタイプの攻撃について、親密度スコアに対する勾配ベースの敵対的攻撃を研究し、TinyImageNet 上の情報に基づいた設定と情報が与えられていない設定におけるその有効性を評価します。
さらに、新規サンプルと馴染みのあるサンプルが敵対的攻撃にどのように反応するかを調査し、代替 OSR スコアリング ルールとして敵対的反応スコアを定式化します。これは、MLS の親しみやすさスコアとの高い相関を示します。

要約(オリジナル)

Open-set recognition (OSR), the identification of novel categories, can be a critical component when deploying classification models in real-world applications. Recent work has shown that familiarity-based scoring rules such as the Maximum Softmax Probability (MSP) or the Maximum Logit Score (MLS) are strong baselines when the closed-set accuracy is high. However, one of the potential weaknesses of familiarity-based OSR are adversarial attacks. Here, we study gradient-based adversarial attacks on familiarity scores for both types of attacks, False Familiarity and False Novelty attacks, and evaluate their effectiveness in informed and uninformed settings on TinyImageNet. Furthermore, we explore how novel and familiar samples react to adversarial attacks and formulate the adversarial reaction score as an alternative OSR scoring rule, which shows a high correlation with the MLS familiarity score.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google