Generalized Out-of-Distribution Detection and Beyond in Vision Language Model Era: A Survey

要約

分散分布（OOD）サンプルの検出は、機械学習システムの安全性を確保するために重要であり、OOD検出の分野を形作っています。
一方、他のいくつかの問題は、異常検出（AD）、ノベルティ検出（ND）、オープンセット認識（OSR）、および外れ値検出（OD）など、OOD検出と密接に関連しています。
これらの問題を統一するために、これらの5つの問題を分類的に分類し、一般化されたOOD検出フレームワークが提案されました。
ただし、クリップなどのビジョン言語モデル（VLM）はパラダイムを大幅に変え、これらのフィールド間の境界を曖昧にし、再び研究者を混乱させました。
この調査では、最初に一般化されたOOD検出V2を提示し、VLM時代のこれらのフィールドの進化をカプセル化します。
私たちのフレームワークは、ある程度のフィールドの不活動と統合により、厳しい課題がOOD検出とADになっていることを明らかにしています。
次に、定義、問題設定、およびベンチマークの大幅な変化を強調します。
したがって、OOD検出と関連するタスクの方法論の包括的なレビューを紹介し、OOD検出との関係を明確にします。
最後に、GPT-4Vなどの新興大型ビジョン言語モデル（LVLM）時代の進歩を探ります。
私たちは、オープンな課題と将来の方向性で締めくくります。
リソースはhttps://github.com/atsumiyai/awesome-ood-vlmで入手できます。

要約(オリジナル)

Detecting out-of-distribution (OOD) samples is crucial for ensuring the safety of machine learning systems and has shaped the field of OOD detection. Meanwhile, several other problems are closely related to OOD detection, including anomaly detection (AD), novelty detection (ND), open set recognition (OSR), and outlier detection (OD). To unify these problems, a generalized OOD detection framework was proposed, taxonomically categorizing these five problems. However, Vision Language Models (VLMs) such as CLIP have significantly changed the paradigm and blurred the boundaries between these fields, again confusing researchers. In this survey, we first present a generalized OOD detection v2, encapsulating the evolution of these fields in the VLM era. Our framework reveals that, with some field inactivity and integration, the demanding challenges have become OOD detection and AD. Then, we highlight the significant shift in the definition, problem settings, and benchmarks; we thus feature a comprehensive review of the methodology for OOD detection and related tasks to clarify their relationship to OOD detection. Finally, we explore the advancements in the emerging Large Vision Language Model (LVLM) era, such as GPT-4V. We conclude with open challenges and future directions. The resource is available at https://github.com/AtsuMiyai/Awesome-OOD-VLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google