A Closer Look at the Learnability of Out-of-Distribution (OOD) Detection

要約

機械学習アルゴリズムは、展開時に異なるデータや「配布外」(OOD) データに遭遇することが多く、これらの例を検出するために OOD 検出が頻繁に使用されます。
実際にはかなりうまく機能しますが、OOD 検出に関する既存の理論的結果は非常に悲観的です。
この研究では、PAC 学習理論に従って、この問題を詳しく調べ、均一な学習可能性と不均一な学習可能性を区別します。
私たちは、どのような条件下で OOD 検出が均一および不均一に学習可能であるかを特徴付け、いくつかのケースでは、不均一な学習可能性が多くのマイナスの結果をプラスに変えることを示します。
OOD 検出が学習可能なすべてのケースにおいて、具体的な学習アルゴリズムとサンプルの複雑さの分析を提供します。

要約(オリジナル)

Machine learning algorithms often encounter different or ‘out-of-distribution’ (OOD) data at deployment time, and OOD detection is frequently employed to detect these examples. While it works reasonably well in practice, existing theoretical results on OOD detection are highly pessimistic. In this work, we take a closer look at this problem, and make a distinction between uniform and non-uniform learnability, following PAC learning theory. We characterize under what conditions OOD detection is uniformly and non-uniformly learnable, and we show that in several cases, non-uniform learnability turns a number of negative results into positive. In all cases where OOD detection is learnable, we provide concrete learning algorithms and a sample-complexity analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google