要約
ニューラルネットワーク(NN)による画像分類は産業プロセスで広く使用されており、モデルが展開中に未知の物体、すなわち分布外(OOD)データに遭遇する可能性が高い状況である。憂慮すべきことに、NNはOODデータに直面したとき、自信満々でありながら誤った予測をする傾向がある。モデルの信頼性を高めるために、NNは自身の予測における不確実性を定量化し、いつ出力を信頼すべきか（信頼すべきでないか）を伝える必要がある。複数の独立したNNで構成されるディープ・アンサンブルは、強力な性能を発揮することが示されているが、計算コストが高い。最近の研究では、より効率的なNNアンサンブル、すなわちスナップショット、バッチ、多入力多出力アンサンブルが提案されている。本研究では、産業プロセスの画像分類の文脈で、効率的なNNアンサンブルの予測性能と不確実性性能を調査する。包括的な比較を提供する初めてのものであり、分布内とOODセットにおけるアンサンブルの性能を1つの指標で定量化する新しい多様性品質指標を提案する。その結果、バッチアンサンブルはディープアンサンブルに代わる費用対効果の高い競争力のあるアンサンブルであることが明らかになった。不確実性と精度の両方においてディープアンサンブルに匹敵する一方、トレーニング時間、テスト時間、メモリストレージの大幅な節約を示す。
要約(オリジナル)
Image classification with neural networks (NNs) is widely used in industrial processes, situations where the model likely encounters unknown objects during deployment, i.e., out-of-distribution (OOD) data. Worryingly, NNs tend to make confident yet incorrect predictions when confronted with OOD data. To increase the models’ reliability, they should quantify the uncertainty in their own predictions, communicating when the output should (not) be trusted. Deep ensembles, composed of multiple independent NNs, have been shown to perform strongly but are computationally expensive. Recent research has proposed more efficient NN ensembles, namely the snapshot, batch, and multi-input multi-output ensemble. This study investigates the predictive and uncertainty performance of efficient NN ensembles in the context of image classification for industrial processes. It is the first to provide a comprehensive comparison and it proposes a novel Diversity Quality metric to quantify the ensembles’ performance on the in-distribution and OOD sets in one single metric. The results highlight the batch ensemble as a cost-effective and competitive alternative to the deep ensemble. It matches the deep ensemble in both uncertainty and accuracy while exhibiting considerable savings in training time, test time, and memory storage.
arxiv情報
| 著者 | Arthur Thuy,Dries F. Benoit |
| 発行日 | 2024-12-03 15:35:24+00:00 |
| arxivサイト | arxiv_id(pdf) |