A Comparative Study of Confidence Calibration in Deep Learning: From Computer Vision to Medical Imaging

要約

深層学習予測モデルはさまざまなクラスの識別に成功していますが、ヘルスケアを含む困難な領域全体でのキャリブレーションが不十分であることがよくあります。
さらに、ロングテール分布は、臨床疾患の予測を含む深層学習の分類問題に大きな課題をもたらします。
コンピュータビジョンの深い予測を調整するために最近提案されたアプローチがありますが、代表的なモデルがさまざまな困難な状況でどのように機能するかを実証する研究は見つかりませんでした。
この論文では、4つの影響の大きいキャリブレーションモデルの比較研究を使用して、コンピュータビジョンから医用画像までの信頼性キャリブレーションを橋渡しします。
私たちの研究は、バランスの取れたトレーニングセットとアンバランスなトレーニングセット、コンピュータービジョンと医用画像など、さまざまな状況（自然画像分類と肺がんリスク推定）で実施されています。
私たちの結果は重要な発見を裏付けています：（1）異なる学習コンテキストでは研究されていない新しい結論を達成します。
ドメインは、医用画像に対してより一般化できる傾向があります。
（2）一般的なコンピュータビジョンタスクと医用画像予測の間のギャップを強調します。たとえば、一般的なコンピュータビジョンタスクに理想的なキャリブレーション方法は、実際には医用画像予測のキャリブレーションに損傷を与える可能性があります。
（3）また、自然画像分類設定における以前の結論を補強します。
この研究には、読者がキャリブレーションモデルを選択し、一般的なコンピュータービジョンと医用画像ドメインの間のギャップを理解するように導くメリットがあると信じています。

要約(オリジナル)

Although deep learning prediction models have been successful in the discrimination of different classes, they can often suffer from poor calibration across challenging domains including healthcare. Moreover, the long-tail distribution poses great challenges in deep learning classification problems including clinical disease prediction. There are approaches proposed recently to calibrate deep prediction in computer vision, but there are no studies found to demonstrate how the representative models work in different challenging contexts. In this paper, we bridge the confidence calibration from computer vision to medical imaging with a comparative study of four high-impact calibration models. Our studies are conducted in different contexts (natural image classification and lung cancer risk estimation) including in balanced vs. imbalanced training sets and in computer vision vs. medical imaging. Our results support key findings: (1) We achieve new conclusions which are not studied under different learning contexts, e.g., combining two calibration models that both mitigate the overconfident prediction can lead to under-confident prediction, and simpler calibration models from the computer vision domain tend to be more generalizable to medical imaging. (2) We highlight the gap between general computer vision tasks and medical imaging prediction, e.g., calibration methods ideal for general computer vision tasks may in fact damage the calibration of medical imaging prediction. (3) We also reinforce previous conclusions in natural image classification settings. We believe that this study has merits to guide readers to choose calibration models and understand gaps between general computer vision and medical imaging domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google