BSM loss: A superior way in modeling aleatory uncertainty of fine_grained classification

要約

人工知能（AI）支援手法は、疾病診断などのリスク分野で注目されていた。病型分類とは異なり、医用画像を良性・悪性に分類するのはきめ細かな作業である。しかし、ほとんどの研究は診断精度の向上にのみ注力し、モデルの信頼性評価は無視されているため、臨床応用には限界がある。臨床の現場では、過剰なパラメトリックモデルや内在するノイズのために、低データ領域でのキャリブレーションが極めて大きな課題となっている。特に、データ依存の不確実性をモデル化することが、信頼性の高いキャリブレーションにつながることを発見した。テストタイム・オーグメンテーション（TTA）と比較して、我々はミックスアップデータ・オーグメンテーション戦略を用いた修正ブートストラップ損失（BS損失）関数を提案し、追加の推論時間なしに予測不確実性をよりよく較正し、データ分布変換を捉えることができることを示した。実験によると、BSロスとミックスアップ（BSM）モデルは、標準的なデータ増強、ディープアンサンブル、MCドロップアウトと比較して、期待校正誤差（ECE）を半減できることが示された。また、BSMモデルでは、ドメイン内データの不確実性と類似性の相関は最大で-0.4428となる。さらに、BSMモデルは、領域外データの意味的距離を認識することができ、実臨床における高い可能性を示している。

要約(オリジナル)

Artificial intelligence(AI)-assisted method had received much attention in the risk field such as disease diagnosis. Different from the classification of disease types, it is a fine-grained task to classify the medical images as benign or malignant. However, most research only focuses on improving the diagnostic accuracy and ignores the evaluation of model reliability, which limits its clinical application. For clinical practice, calibration presents major challenges in the low-data regime extremely for over-parametrized models and inherent noises. In particular, we discovered that modeling data-dependent uncertainty is more conducive to confidence calibrations. Compared with test-time augmentation(TTA), we proposed a modified Bootstrapping loss(BS loss) function with Mixup data augmentation strategy that can better calibrate predictive uncertainty and capture data distribution transformation without additional inference time. Our experiments indicated that BS loss with Mixup(BSM) model can halve the Expected Calibration Error(ECE) compared to standard data augmentation, deep ensemble and MC dropout. The correlation between uncertainty and similarity of in-domain data is up to -0.4428 under the BSM model. Additionally, the BSM model is able to perceive the semantic distance of out-of-domain data, demonstrating high potential in real-world clinical practice.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL