Calibrating Ensembles for Scalable Uncertainty Quantification in Deep Learning-based Medical Segmentation

要約

自動画像解析における不確実性の定量化は、多くのアプリケーションで非常に望まれています。
通常、分類またはセグメンテーションの機械学習モデルは、バイナリの回答を提供するためにのみ開発されます。
ただし、モデルの不確実性を定量化することは、能動学習や機械と人間の相互作用などで重要な役割を果たすことができます。
多くのイメージング アプリケーションで最先端の深層学習ベースのモデルを使用する場合、不確実性の定量化は特に困難です。
現在の不確実性の定量化アプローチは、高次元の現実世界の問題にうまく対応できません。
スケーラブルなソリューションは、事後分布を取得するために異なるランダム シードを使用して同一モデルのアンサンブルを推論またはトレーニングする際に、ドロップアウトなどの従来の手法に依存することがよくあります。
この論文では、これらのアプローチが分類確率を近似できないことを示します。
それどころか、深層学習モデルのアンサンブルを調整して分類確率を近似する不確実性定量化測定値を生成するためのスケーラブルで直感的なフレームワークを提案します。
目に見えないテスト データでは、標準的なアプローチと比較して、キャリブレーション、感度 (3 つのケースのうち 2 つ)、および精度が向上していることを示しています。
さらに、ラベルのない画像と人間と機械のコラボレーションから学習するための疑似ラベルを作成し、アクティブラーニングでこの方法を使用するように動機付けます。

要約(オリジナル)

Uncertainty quantification in automated image analysis is highly desired in many applications. Typically, machine learning models in classification or segmentation are only developed to provide binary answers; however, quantifying the uncertainty of the models can play a critical role for example in active learning or machine human interaction. Uncertainty quantification is especially difficult when using deep learning-based models, which are the state-of-the-art in many imaging applications. The current uncertainty quantification approaches do not scale well in high-dimensional real-world problems. Scalable solutions often rely on classical techniques, such as dropout, during inference or training ensembles of identical models with different random seeds to obtain a posterior distribution. In this paper, we show that these approaches fail to approximate the classification probability. On the contrary, we propose a scalable and intuitive framework to calibrate ensembles of deep learning models to produce uncertainty quantification measurements that approximate the classification probability. On unseen test data, we demonstrate improved calibration, sensitivity (in two out of three cases) and precision when being compared with the standard approaches. We further motivate the usage of our method in active learning, creating pseudo-labels to learn from unlabeled images and human-machine collaboration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google