Fast and reliable uncertainty quantification with neural network ensembles for industrial image classification

要約

ニューラル ネットワーク (NN) による画像分類は、モデルが展開中に未知のオブジェクト、つまり配布外 (OOD) データに遭遇する可能性が高い状況である産業プロセスで広く使用されています。
憂慮すべきことに、NN は OOD データに直面すると、自信を持っているにもかかわらず不正確な予測を行う傾向があります。
モデルの信頼性を高めるには、モデル自身の予測の不確実性を定量化し、出力を信頼すべき (すべきではない) 場合を伝える必要があります。
複数の独立した NN で構成されるディープ アンサンブルは、強力なパフォーマンスを示しますが、計算コストが高くなります。
最近の研究では、より効率的な NN アンサンブル、つまりスナップショット、バッチ、および多入力多出力アンサンブルが提案されています。
この研究では、産業プロセスの画像分類に関連した効率的な NN アンサンブルの予測性能と不確実性性能を調査します。
これは、包括的な比較を提供する初めてのものであり、配信内セットと OOD セットでのアンサンブルのパフォーマンスを 1 つの単一の指標で定量化する新しいダイバーシティ品質指標を提案しています。
この結果は、バッチ アンサンブルがディープ アンサンブルに代わる費用対効果が高く、競争力のある代替手段であることを強調しています。
不確実性と精度の両方においてディープ アンサンブルに匹敵し、トレーニング時間、テスト時間、メモリ ストレージを大幅に節約します。

要約(オリジナル)

Image classification with neural networks (NNs) is widely used in industrial processes, situations where the model likely encounters unknown objects during deployment, i.e., out-of-distribution (OOD) data. Worryingly, NNs tend to make confident yet incorrect predictions when confronted with OOD data. To increase the models’ reliability, they should quantify the uncertainty in their own predictions, communicating when the output should (not) be trusted. Deep ensembles, composed of multiple independent NNs, have been shown to perform strongly but are computationally expensive. Recent research has proposed more efficient NN ensembles, namely the snapshot, batch, and multi-input multi-output ensemble. This study investigates the predictive and uncertainty performance of efficient NN ensembles in the context of image classification for industrial processes. It is the first to provide a comprehensive comparison and it proposes a novel Diversity Quality metric to quantify the ensembles’ performance on the in-distribution and OOD sets in one single metric. The results highlight the batch ensemble as a cost-effective and competitive alternative to the deep ensemble. It matches the deep ensemble in both uncertainty and accuracy while exhibiting considerable savings in training time, test time, and memory storage.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google