Towards Optimal Feature-Shaping Methods for Out-of-Distribution Detection

要約

フィーチャ シェーピングは、配布外 (OOD) 検出に対して最先端のパフォーマンスを発揮する一連の方法を指します。
これらのアプローチでは、通常、事前トレーニングされた深層学習モデルの最後から 2 番目の層からの特徴表現を操作して、配布中 (ID) サンプルと OOD サンプルをより適切に区別します。
ただし、既存の特徴形成手法は通常、特定のモデル アーキテクチャと OOD データセット用に手動で設計されたルールを採用しているため、一般化能力が制限されています。
このギャップに対処するために、私たちはまず、特徴形成手法を研究するための抽象的な最適化フレームワークを定式化します。
次に、単純な区分的定数整形関数を使用したフレームワークの具体的な縮小を提案し、既存の特徴整形手法が具体的な最適化問題の最適解に近似することを示します。
さらに、OOD データにアクセスできないと仮定して、ID データのみを利用して、区分的定数整形関数の閉形式の解を生成する定式化を提案します。
広範な実験を通じて、私たちの方法によって最適化された特徴整形関数が、多種多様なデータセットとモデル アーキテクチャにわたって OOD 検出の一般化能力を向上させることを示します。

要約(オリジナル)

Feature shaping refers to a family of methods that exhibit state-of-the-art performance for out-of-distribution (OOD) detection. These approaches manipulate the feature representation, typically from the penultimate layer of a pre-trained deep learning model, so as to better differentiate between in-distribution (ID) and OOD samples. However, existing feature-shaping methods usually employ rules manually designed for specific model architectures and OOD datasets, which consequently limit their generalization ability. To address this gap, we first formulate an abstract optimization framework for studying feature-shaping methods. We then propose a concrete reduction of the framework with a simple piecewise constant shaping function and show that existing feature-shaping methods approximate the optimal solution to the concrete optimization problem. Further, assuming that OOD data is inaccessible, we propose a formulation that yields a closed-form solution for the piecewise constant shaping function, utilizing solely the ID data. Through extensive experiments, we show that the feature-shaping function optimized by our method improves the generalization ability of OOD detection across a large variety of datasets and model architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google