OpenOOD: Benchmarking Generalized Out-of-Distribution Detection

要約

分布外 (OOD) 検出は、安全性が重要な機械学習アプリケーションに不可欠であるため、文献で開発された多数の方法で広く研究されています。
ただし、この分野には現在、統一された厳密に策定された包括的なベンチマークがなく、多くの場合、不公平な比較や決定的な結果が得られません。
問題設定の観点から、OOD 検出は、異常検出 (AD)、オープン セット認識 (OSR)、モデルの不確実性などの隣接分野と密接に関連しています。これは、1 つのドメイン用に開発された方法が互いに適用できることが多いためです。
コミュニティが評価を改善し、前進するのを支援するために、OpenOOD と呼ばれる統合された適切に構造化されたコードベースを構築します。これは、関連分野で開発された 30 以上のメソッドを実装し、最近提案された一般化された OOD 検出フレームワークの下で包括的なベンチマークを提供します。
これらの方法を包括的に比較することで、前処理方法と直交ポストホック方法の両方が強力な可能性を示す過去数年間で、この分野が大幅に進歩したことに満足しています。

要約(オリジナル)

Out-of-distribution (OOD) detection is vital to safety-critical machine learning applications and has thus been extensively studied, with a plethora of methods developed in the literature. However, the field currently lacks a unified, strictly formulated, and comprehensive benchmark, which often results in unfair comparisons and inconclusive results. From the problem setting perspective, OOD detection is closely related to neighboring fields including anomaly detection (AD), open set recognition (OSR), and model uncertainty, since methods developed for one domain are often applicable to each other. To help the community to improve the evaluation and advance, we build a unified, well-structured codebase called OpenOOD, which implements over 30 methods developed in relevant fields and provides a comprehensive benchmark under the recently proposed generalized OOD detection framework. With a comprehensive comparison of these methods, we are gratified that the field has progressed significantly over the past few years, where both preprocessing methods and the orthogonal post-hoc methods show strong potential.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google