In or Out? Fixing ImageNet Out-of-Distribution Detection Evaluation

要約

配布外 (OOD) 検出は、配布内のタスクに無関係な入力を識別する問題です。
インディストリビューション (ID) が ImageNet-1K である場合の OOD 検出パフォーマンスは、通常、狭い範囲のテスト OOD データセットでテストされます。
オープンセット認識 (OSR) 文献のデータセットを含む、現在使用されているテスト OOD データセットのほとんどには重大な問題があることがわかりました。場合によっては、データセットの 50$\%$ 以上に、いずれかの ID クラスに属するオブジェクトが含まれている場合があります。
。
これらの誤ったサンプルは、OOD 検出器の評価を大きく歪めます。
解決策として、当社は NINCO と共同で、各サンプルが ID フリーであることをチェックした新しいテスト OOD データセットを導入しました。これにより、きめ細かい OOD クラスの範囲により、特に OOD 検出器と組み合わせた場合に、OOD 検出器の強みと故障モードの詳細な分析が可能になります。
多数の合成「OOD 単体テスト」。
NINCO と単体テストに関する大規模なアーキテクチャと OOD 検出方法の詳細な評価を提供し、モデルの弱点と OOD 検出パフォーマンスに対する事前トレーニングの影響に関する新たな洞察を明らかにします。
コードとデータは https://github.com/j-cb/NINCO で提供されます。

要約(オリジナル)

Out-of-distribution (OOD) detection is the problem of identifying inputs which are unrelated to the in-distribution task. The OOD detection performance when the in-distribution (ID) is ImageNet-1K is commonly being tested on a small range of test OOD datasets. We find that most of the currently used test OOD datasets, including datasets from the open set recognition (OSR) literature, have severe issues: In some cases more than 50$\%$ of the dataset contains objects belonging to one of the ID classes. These erroneous samples heavily distort the evaluation of OOD detectors. As a solution, we introduce with NINCO a novel test OOD dataset, each sample checked to be ID free, which with its fine-grained range of OOD classes allows for a detailed analysis of an OOD detector’s strengths and failure modes, particularly when paired with a number of synthetic ‘OOD unit-tests’. We provide detailed evaluations across a large set of architectures and OOD detection methods on NINCO and the unit-tests, revealing new insights about model weaknesses and the effects of pretraining on OOD detection performance. We provide code and data at https://github.com/j-cb/NINCO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google