Out-Of-Distribution Detection Is Not All You Need

要約

セーフティ クリティカルなシステムでのディープ ニューラル ネットワークの使用は、システムの正しい動作を保証する能力によって制限されます。
ランタイム モニターは、危険な予測を特定し、壊滅的な結果につながる前に破棄することを目的としたコンポーネントです。
ランタイム監視に関する最近のいくつかの研究では、分布外 (OOD) の検出、つまり、トレーニング データとは異なる入力の識別に重点が置かれています。
この作業では、OOD 検出は効率的な実行時モニターを設計するのに適したフレームワークではなく、誤った予測を破棄する能力に基づいてモニターを評価する方が適切であると主張します。
この設定をモデル範囲外の検出と呼び、OOD との概念的な違いについて説明します。
また、文献から一般的なデータセットを使用して大規模な実験を行い、OOD 設定でモニターを調査すると誤解を招く可能性があることを示します。
エラーを検出するのに最適なモニター。
最後に、誤ったトレーニング データ サンプルを削除すると、より良いモニターのトレーニングに役立つことも示します。

要約(オリジナル)

The usage of deep neural networks in safety-critical systems is limited by our ability to guarantee their correct behavior. Runtime monitors are components aiming to identify unsafe predictions and discard them before they can lead to catastrophic consequences. Several recent works on runtime monitoring have focused on out-of-distribution (OOD) detection, i.e., identifying inputs that are different from the training data. In this work, we argue that OOD detection is not a well-suited framework to design efficient runtime monitors and that it is more relevant to evaluate monitors based on their ability to discard incorrect predictions. We call this setting out-ofmodel-scope detection and discuss the conceptual differences with OOD. We also conduct extensive experiments on popular datasets from the literature to show that studying monitors in the OOD setting can be misleading: 1. very good OOD results can give a false impression of safety, 2. comparison under the OOD setting does not allow identifying the best monitor to detect errors. Finally, we also show that removing erroneous training data samples helps to train better monitors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google