Comprehensive OOD Detection Improvements

要約

影響力のある意思決定において機械学習がますます普及するにつれて、推論データがモデルの予想される入力分布から外れていることを認識することは、予測にコンテキストを与えるために最も重要です。
このタスクのために、配布外 (OOD) 検出メソッドが作成されました。
このような方法は、それぞれ OOD 検出にモデルの埋め込みを利用するか予測を利用するかによって、表現ベースの方法とロジットベースの方法に分けることができます。
ほとんどの論文がそのようなグループの 1 つにのみ焦点を当てているのとは対照的に、私たちは両方について取り上げます。
時間の高速化とパフォーマンスの向上の両方を目的として、表現ベースの手法で特徴の埋め込みに次元削減を採用しています。
さらに、気づかれない欠陥を解決する、一般的なロジットベースの手法 Directed Sparsification (DICE) の修正版である DICE-COL を提案します。
OpenOODv1.5 ベンチマーク フレームワークでメソッドの有効性を実証し、パフォーマンスが大幅に向上し、最先端の結果が得られます。

要約(オリジナル)

As machine learning becomes increasingly prevalent in impactful decisions, recognizing when inference data is outside the model’s expected input distribution is paramount for giving context to predictions. Out-of-distribution (OOD) detection methods have been created for this task. Such methods can be split into representation-based or logit-based methods from whether they respectively utilize the model’s embeddings or predictions for OOD detection. In contrast to most papers which solely focus on one such group, we address both. We employ dimensionality reduction on feature embeddings in representation-based methods for both time speedups and improved performance. Additionally, we propose DICE-COL, a modification of the popular logit-based method Directed Sparsification (DICE) that resolves an unnoticed flaw. We demonstrate the effectiveness of our methods on the OpenOODv1.5 benchmark framework, where they significantly improve performance and set state-of-the-art results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google