Empirical Validation of Conformal Prediction for Trustworthy Skin Lesions Classification

要約

不確実性の定量化は、信頼性が高く堅牢なシステムの実現に貢献する極めて重要な分野です。
補完的な情報を提供することにより、特にリスクの高いアプリケーションにおいて安全な意思決定を強化するのに役立ちます。
それにもかかわらず、医用画像分野におけるさまざまな方法に固有の利点と限界を包括的に理解するには、詳細な分析を伴うさらなる研究が必要です。
この論文では、モンテカルロ ドロップアウトおよび証拠ディープ ラーニング手法とともに、新しい分布フリーの不確実性定量化手法である等角予測を検討します。
当社の包括的な実験により、3 つの定量化方法にわたる皮膚病変分類タスクの比較パフォーマンス分析が提供されます。
さらに、ドメインシフトされたデータセットからの分布外サンプルを処理する際の各方法の有効性についての洞察を示します。
実験結果に基づいて、私たちの結論は、さまざまな条件にわたる等角予測の堅牢性と一貫したパフォーマンスを強調しています。
これにより、安全性が重要なアプリケーションにおける意思決定に推奨される選択肢として位置付けられます。

要約(オリジナル)

Uncertainty quantification is a pivotal field that contributes to the realization of reliable and robust systems. By providing complementary information, it becomes instrumental in fortifying safe decisions, particularly within high-risk applications. Nevertheless, a comprehensive understanding of the advantages and limitations inherent in various methods within the medical imaging field necessitates further research coupled with in-depth analysis. In this paper, we explore Conformal Prediction, an emerging distribution-free uncertainty quantification technique, along with Monte Carlo Dropout and Evidential Deep Learning methods. Our comprehensive experiments provide a comparative performance analysis for skin lesion classification tasks across the three quantification methods. Furthermore, We present insights into the effectiveness of each method in handling Out-of-Distribution samples from domain-shifted datasets. Based on our experimental findings, our conclusion highlights the robustness and consistent performance of conformal prediction across diverse conditions. This positions it as the preferred choice for decision-making in safety-critical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google