Ensembling Uncertainty Measures to Improve Safety of Black-Box Classifiers

要約

分類を実行する機械学習 (ML) アルゴリズムは、誤ったクラスを予測し、誤分類が発生する可能性があります。
誤った分類がシステム全体に連鎖的な影響を及ぼし、重大な障害を引き起こす可能性があることはよく知られています。
この論文は、ブラックボックス分類器の入力と出力の不確実性測定を計算することによって誤分類を疑う、不確実性測定のアンサンブルによる安全ラッパーである SPROUT を提案します。
誤分類が検出された場合、SPROUT は、分類器の出力が周囲のシステムに伝播するのをブロックします。
その結果、安全性への影響は、SPROUT が不安定な出力 (誤分類) をデータ欠落障害に変換することですが、これはシステム レベルで簡単に管理できます。
SPROUT は、画像と表形式のデータセットで構成されるバイナリおよびマルチクラス分類に適合するため、幅広い用途があります。
我々は実験的に、SPROUT が教師あり分類器の誤分類の大部分を常に識別し、特定のケースではすべての誤分類を検出できることを示しました。
SPROUT 実装には事前トレーニングされたラッパーが含まれており、公開されており、最小限の労力でデプロイする準備ができています。

要約(オリジナル)

Machine Learning (ML) algorithms that perform classification may predict the wrong class, experiencing misclassifications. It is well-known that misclassifications may have cascading effects on the encompassing system, possibly resulting in critical failures. This paper proposes SPROUT, a Safety wraPper thROugh ensembles of UncertainTy measures, which suspects misclassifications by computing uncertainty measures on the inputs and outputs of a black-box classifier. If a misclassification is detected, SPROUT blocks the propagation of the output of the classifier to the encompassing system. The resulting impact on safety is that SPROUT transforms erratic outputs (misclassifications) into data omission failures, which can be easily managed at the system level. SPROUT has a broad range of applications as it fits binary and multi-class classification, comprising image and tabular datasets. We experimentally show that SPROUT always identifies a huge fraction of the misclassifications of supervised classifiers, and it is able to detect all misclassifications in specific cases. SPROUT implementation contains pre-trained wrappers, it is publicly available and ready to be deployed with minimal effort.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google