Boosting Out-of-Distribution Detection with Multiple Pre-trained Models

要約

Out-of-Distribution (OOD) 検出、つまり入力がトレーニング分布以外の新しい分布からサンプリングされているかどうかを識別することは、機械学習システムをオープン ワールドに安全に展開するための重要なタスクです。
最近、事前トレーニングされたモデルを利用した事後検出が有望なパフォーマンスを示しており、大規模な問題にスケーリングできます。
この進歩は当然の疑問を提起します: 複数の事前トレーニング済みモデルの多様性を活用して、事後検出方法のパフォーマンスを向上させることはできるでしょうか?
この作業では、事前トレーニングされたモデルの動物園から導出された複数の検出決定をアンサンブルすることにより、検出強化方法を提案します。
私たちのアプローチは、一般的に使用されるハードしきい値の代わりに p 値を使用し、複数の仮説検定の基本的なフレームワークを活用して、分布内 (ID) データの真の陽性率を制御します。
モデル動物園の使用に焦点を当て、さまざまな OOD 検出ベンチマークに関する現在の最先端の方法との体系的な経験的比較を提供します。
提案されたアンサンブル方式は、単一モデルの検出器と比較して一貫した改善を示し、現在の競合する方法よりも大幅に優れています。
私たちの方法は、CIFAR10 および ImageNet ベンチマークで相対的なパフォーマンスを 65.40% および 26.96% 大幅に改善します。

要約(オリジナル)

Out-of-Distribution (OOD) detection, i.e., identifying whether an input is sampled from a novel distribution other than the training distribution, is a critical task for safely deploying machine learning systems in the open world. Recently, post hoc detection utilizing pre-trained models has shown promising performance and can be scaled to large-scale problems. This advance raises a natural question: Can we leverage the diversity of multiple pre-trained models to improve the performance of post hoc detection methods? In this work, we propose a detection enhancement method by ensembling multiple detection decisions derived from a zoo of pre-trained models. Our approach uses the p-value instead of the commonly used hard threshold and leverages a fundamental framework of multiple hypothesis testing to control the true positive rate of In-Distribution (ID) data. We focus on the usage of model zoos and provide systematic empirical comparisons with current state-of-the-art methods on various OOD detection benchmarks. The proposed ensemble scheme shows consistent improvement compared to single-model detectors and significantly outperforms the current competitive methods. Our method substantially improves the relative performance by 65.40% and 26.96% on the CIFAR10 and ImageNet benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google