Can we Defend Against the Unknown? An Empirical Study About Threshold Selection for Neural Network Monitoring

要約

重要なシステムでニューラル ネットワークの使用が増えるにつれ、推論中に安全でない予測を拒否するために実行時モニタリングが不可欠になります。
安全な予測と安全でない予測の分布間の分離性を最大化する拒否スコアを確立するためのさまざまな手法が登場しています。
これらのアプローチの有効性は、主に、受信機の動作特性曲線の下の面積など、しきい値に依存しないメトリクスを使用して評価されます。
ただし、実際のアプリケーションでは、効果的なモニターには、これらのスコアを意味のある二者択一の決定に変換するための適切なしきい値を特定することも必要です。
しきい値の最適化が非常に重要であるにもかかわらず、この問題はほとんど注目されていません。
いくつかの研究がこの問題に触れていますが、通常、実行時のデータ分布はトレーニング分布を反映していると想定しています。モニターは潜在的に予期せぬ脅威からシステムを保護するものであるため、これは強力な想定です。
この研究では、次のことを調査するためのさまざまな画像データセットに対する厳密な実験を紹介します。 1. しきい値の調整では利用できない、予期せぬ脅威に対処する際のモニターの有効性。
2. 一般的な脅威をしきい値最適化スキームに統合することで、モニターの堅牢性を強化できるかどうか。

要約(オリジナル)

With the increasing use of neural networks in critical systems, runtime monitoring becomes essential to reject unsafe predictions during inference. Various techniques have emerged to establish rejection scores that maximize the separability between the distributions of safe and unsafe predictions. The efficacy of these approaches is mostly evaluated using threshold-agnostic metrics, such as the area under the receiver operating characteristic curve. However, in real-world applications, an effective monitor also requires identifying a good threshold to transform these scores into meaningful binary decisions. Despite the pivotal importance of threshold optimization, this problem has received little attention. A few studies touch upon this question, but they typically assume that the runtime data distribution mirrors the training distribution, which is a strong assumption as monitors are supposed to safeguard a system against potentially unforeseen threats. In this work, we present rigorous experiments on various image datasets to investigate: 1. The effectiveness of monitors in handling unforeseen threats, which are not available during threshold adjustments. 2. Whether integrating generic threats into the threshold optimization scheme can enhance the robustness of monitors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google