Generative Robust Classification

要約

敵対的にロバストな識別 (つまり、ソフトマックス) 分類器をトレーニングすることは、ロバストな分類への主要なアプローチでした。
敵対的トレーニング (AT) ベースの生成モデルに関する最近の研究に基づいて、AT を使用して正規化されていないクラス条件付き密度モデルを学習し、生成的ロバスト分類を実行することを調査します。
私たちの結果は、同様のモデル容量の条件下で、テスト データがクリーンである場合、またはテスト摂動のサイズが制限されている場合、ジェネレーティブ ロバスト分類器はベースラインのソフトマックス ロバスト分類器に匹敵するパフォーマンスを達成し、テスト摂動が
サイズがトレーニング摂動サイズを超えています。
生成的分類器は、トレーニング データによりよく似たサンプルまたは反事実を生成することもできます。これは、生成的分類器がクラス条件付き分布をより適切にキャプチャできることを示唆しています。
高度なデータ拡張技術が重み平均化と組み合わされた場合にのみ有効である標準的な差別的な敵対的トレーニングとは対照的に、高度なデータ拡張を適用してアプローチの堅牢性を向上させることは簡単です。
私たちの結果は、特にクラスの数が限られている問題では、生成的分類器が堅牢な分類に代わる競争力のある代替手段であることを示唆しています。

要約(オリジナル)

Training adversarially robust discriminative (i.e., softmax) classifier has been the dominant approach to robust classification. Building on recent work on adversarial training (AT)-based generative models, we investigate using AT to learn unnormalized class-conditional density models and then performing generative robust classification. Our result shows that, under the condition of similar model capacities, the generative robust classifier achieves comparable performance to a baseline softmax robust classifier when the test data is clean or when the test perturbation is of limited size, and much better performance when the test perturbation size exceeds the training perturbation size. The generative classifier is also able to generate samples or counterfactuals that more closely resemble the training data, suggesting that the generative classifier can better capture the class-conditional distributions. In contrast to standard discriminative adversarial training where advanced data augmentation techniques are only effective when combined with weight averaging, we find it straightforward to apply advanced data augmentation to achieve better robustness in our approach. Our result suggests that the generative classifier is a competitive alternative to robust classification, especially for problems with limited number of classes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google