Unsupervised Layer-wise Score Aggregation for Textual OOD Detection

要約

アウト オブ ディストリビューション (OOD) 検出は、AI ベースのシステム数の増加に伴う新しい堅牢性とセキュリティ要件により、急速に成長している分野です。
既存の OOD テキスト検出器は、多くの場合、エンコーダーの最後のレイヤーの埋め込み出力で計算された異常スコア (マハラノビス距離など) に依存しています。
この作業では、OOD 検出のパフォーマンスがタスクとレイヤーの出力によって大きく異なることがわかります。
さらに重要なことは、通常の選択 (最後のレイヤー) が OOD 検出に最適であることはめったになく、最適なレイヤーが選択された場合にはるかに優れた結果が得られることを示しています。
この観察結果を活用するために、レイヤー単位の異常スコアを結合するためのデータ駆動型の教師なし方法を提案します。
さらに、より現実的な設定を反映する、より多くのクラス (最大 77) を持つ分類タスクを含めることにより、従来のテキスト OOD ベンチマークを拡張します。
この拡張されたベンチマークでは、提案された集計後の方法が、手動の機能選択を完全に削除しながら、堅牢で一貫した結果を達成することを示しています。
それらのパフォーマンスは、オラクルの最高のレイヤーパフォーマンスに近いものです。

要約(オリジナル)

Out-of-distribution (OOD) detection is a rapidly growing field due to new robustness and security requirements driven by an increased number of AI-based systems. Existing OOD textual detectors often rely on an anomaly score (e.g., Mahalanobis distance) computed on the embedding output of the last layer of the encoder. In this work, we observe that OOD detection performance varies greatly depending on the task and layer output. More importantly, we show that the usual choice (the last layer) is rarely the best one for OOD detection and that far better results could be achieved if the best layer were picked. To leverage this observation, we propose a data-driven, unsupervised method to combine layer-wise anomaly scores. In addition, we extend classical textual OOD benchmarks by including classification tasks with a greater number of classes (up to 77), which reflects more realistic settings. On this augmented benchmark, we show that the proposed post-aggregation methods achieve robust and consistent results while removing manual feature selection altogether. Their performance achieves near oracle’s best layer performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google