GHOST: Gaussian Hypothesis Open-Set Technique

要約

大規模な認識方法の評価は、通常、全体的なパフォーマンスに焦点を当てています。
このアプローチは一般的ですが、多くの場合、個々のクラス全体でパフォーマンスに関する洞察を提供できず、公平性の問題や不実表示につながる可能性があります。
これらのギャップに対処することは、メソッドが斬新なクラスまたは目に見えないクラスをどの程度うまく処理するかを正確に評価し、公正な評価を確保するために重要です。
オープンセット認識（OSR）の公平性に対処するために、クラスごとのパフォーマンスが劇的に異なる可能性があることを実証します。
斜めの共分散マトリックスを使用したクラスごとの多変量ガウス分布を使用して、深い特徴をモデル化する新しいハイパーパラメーターフリーフリーアルゴリズムであるGaussian仮説オープンセットテクニック（Ghost）を紹介します。
Zスコアの正規化をロジットに適用して、モデルの期待から逸脱する機能の大きさの影響を軽減し、それによりネットワークがハイスコアを未知のサンプルに割り当てる可能性を減らします。
複数のImagENET-1Kの事前に訓練されたディープネットワークでゴーストを評価し、4つの異なる未知のデータセットでテストします。
AUOSCR、AUROC、FPR95などの標準的なメトリックを使用して、統計的に有意な改善を実現し、大規模なOSRの最先端を前進させます。
ソースコードはオンラインで提供されます。

要約(オリジナル)

Evaluations of large-scale recognition methods typically focus on overall performance. While this approach is common, it often fails to provide insights into performance across individual classes, which can lead to fairness issues and misrepresentation. Addressing these gaps is crucial for accurately assessing how well methods handle novel or unseen classes and ensuring a fair evaluation. To address fairness in Open-Set Recognition (OSR), we demonstrate that per-class performance can vary dramatically. We introduce Gaussian Hypothesis Open Set Technique (GHOST), a novel hyperparameter-free algorithm that models deep features using class-wise multivariate Gaussian distributions with diagonal covariance matrices. We apply Z-score normalization to logits to mitigate the impact of feature magnitudes that deviate from the model’s expectations, thereby reducing the likelihood of the network assigning a high score to an unknown sample. We evaluate GHOST across multiple ImageNet-1K pre-trained deep networks and test it with four different unknown datasets. Using standard metrics such as AUOSCR, AUROC and FPR95, we achieve statistically significant improvements, advancing the state-of-the-art in large-scale OSR. Source code is provided online.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google