DUDES: Deep Uncertainty Distillation using Ensembles for Semantic Segmentation

要約

ディープ ニューラル ネットワークは解釈可能性に欠け、自信過剰になる傾向があります。これは、自動運転、医療用画像処理、マシン ビジョン タスクなど、信頼性に対する要求が高い安全性が重要なアプリケーションで深刻な問題を引き起こします。
予測の不確実性を定量化することは、そのようなアプリケーションにディープ ニューラル ネットワークを使用できるようにするための有望な試みです。
残念ながら、現在利用可能な方法は計算コストが高くなります。
この作業では、効率的で信頼性の高い不確実性推定のための新しいアプローチを提示します。
DUDES は、シンプルさと適応性を維持しながら、Deep Ensemble を使用して学生と教師の蒸留を適用し、単一のフォワード パスで予測の不確実性を正確に近似します。
実験的に、DUDES はセグメンテーション タスクのパフォーマンスを犠牲にすることなく予測の不確実性を正確に捉え、Cityscapes データセットで誤って分類されたピクセルやドメイン外のサンプルを識別する優れた機能を示しています。
DUDES を使用することで、Deep Ensemble ベースの Uncertainty Distillation に関する以前の作業を簡素化すると同時に、それを上回るパフォーマンスを実現することができました。

要約(オリジナル)

Deep neural networks lack interpretability and tend to be overconfident, which poses a serious problem in safety-critical applications like autonomous driving, medical imaging, or machine vision tasks with high demands on reliability. Quantifying the predictive uncertainty is a promising endeavour to open up the use of deep neural networks for such applications. Unfortunately, current available methods are computationally expensive. In this work, we present a novel approach for efficient and reliable uncertainty estimation which we call Deep Uncertainty Distillation using Ensembles for Segmentation (DUDES). DUDES applies student-teacher distillation with a Deep Ensemble to accurately approximate predictive uncertainties with a single forward pass while maintaining simplicity and adaptability. Experimentally, DUDES accurately captures predictive uncertainties without sacrificing performance on the segmentation task and indicates impressive capabilities of identifying wrongly classified pixels and out-of-domain samples on the Cityscapes dataset. With DUDES, we manage to simultaneously simplify and outperform previous work on Deep Ensemble-based Uncertainty Distillation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google