Probing Predictions on OOD Images via Nearest Categories

要約

ニューラル ネットワークが画像を目に見えないクラスまたは破損した画像から分類するときの分布外 (OOD) 予測動作を研究します。
OOD の動作を調べるために、新しい尺度である最近傍カテゴリ汎化 (NCG) を導入します。ここでは、トレーニング セット内の最近傍と同じラベルで分類される OOD 入力の割合を計算します。
私たちの動機は、敵対的にロバストなネットワークの予測パターンを理解することにあります。これは、以前の研究で、トレーニングがノルムに制限された摂動に対してロバストになるという予期しない結果が特定されているためです。
OOD データがロバストネス半径よりもはるかに離れている場合でも、ロバストなネットワークは自然なトレーニングよりも一貫して高い NCG 精度を持っていることがわかりました。
これは、ロバスト トレーニングのローカル正則化がネットワークの決定領域に大きな影響を与えることを意味します。
多くのデータセットを使用して調査結果を再現し、新しいトレーニング方法と既存のトレーニング方法を比較します。
全体として、敵対的に堅牢なネットワークは、OOD データに関しては最近傍分類器に似ています。
コードは https://github.com/yangarbiter/nearest-category-generalization で入手できます。

要約(オリジナル)

We study out-of-distribution (OOD) prediction behavior of neural networks when they classify images from unseen classes or corrupted images. To probe the OOD behavior, we introduce a new measure, nearest category generalization (NCG), where we compute the fraction of OOD inputs that are classified with the same label as their nearest neighbor in the training set. Our motivation stems from understanding the prediction patterns of adversarially robust networks, since previous work has identified unexpected consequences of training to be robust to norm-bounded perturbations. We find that robust networks have consistently higher NCG accuracy than natural training, even when the OOD data is much farther away than the robustness radius. This implies that the local regularization of robust training has a significant impact on the network’s decision regions. We replicate our findings using many datasets, comparing new and existing training methods. Overall, adversarially robust networks resemble a nearest neighbor classifier when it comes to OOD data. Code available at https://github.com/yangarbiter/nearest-category-generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google