OpenOOD v1.5: Enhanced Benchmark for Out-of-Distribution Detection

要約

配布外 (OOD) の検出は、オープンワールドのインテリジェント システムの信頼性の高い運用にとって重要です。
OOD 検出方法の出現が増えているにもかかわらず、評価の不一致により、この分野の進歩を追跡することが課題となっています。
OpenOOD v1 は OOD 検出評価の統合を開始しましたが、スケーラビリティと使いやすさの制限に直面しました。
これに応えて、このペーパーでは、OOD 検出方法の正確で標準化されたユーザーフレンドリーな評価を保証する、前バージョンからの大幅な改良である OpenOOD v1.5 を紹介します。
特に、OpenOOD v1.5 は、その評価機能を ImageNet などの大規模データセットに拡張し、重要であるにもかかわらず十分に研究されていないフルスペクトル OOD 検出を調査し、オンライン リーダーボードや使いやすい評価ツールなどの新機能を導入しています。
この研究は、包括的な実験結果から得られる詳細な分析と洞察にも貢献し、それによって OOD 検出方法論の知識プールを充実させます。
これらの機能強化により、OpenOOD v1.5 は進歩を推進し、OOD 検出研究のためのより堅牢で包括的な評価ベンチマークを提供することを目指しています。

要約(オリジナル)

Out-of-Distribution (OOD) detection is critical for the reliable operation of open-world intelligent systems. Despite the emergence of an increasing number of OOD detection methods, the evaluation inconsistencies present challenges for tracking the progress in this field. OpenOOD v1 initiated the unification of the OOD detection evaluation but faced limitations in scalability and usability. In response, this paper presents OpenOOD v1.5, a significant improvement from its predecessor that ensures accurate, standardized, and user-friendly evaluation of OOD detection methodologies. Notably, OpenOOD v1.5 extends its evaluation capabilities to large-scale datasets such as ImageNet, investigates full-spectrum OOD detection which is important yet underexplored, and introduces new features including an online leaderboard and an easy-to-use evaluator. This work also contributes in-depth analysis and insights derived from comprehensive experimental results, thereby enriching the knowledge pool of OOD detection methodologies. With these enhancements, OpenOOD v1.5 aims to drive advancements and offer a more robust and comprehensive evaluation benchmark for OOD detection research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google