Uncertainty estimation for out-of-distribution detection in computational histopathology

要約

計算組織病理学アルゴリズムは現在、さまざまなタスクで人間よりも優れていますが、今日まで、診療所での自動診断に採用されているものはありません。
アルゴリズムがそのようなリスクの高い決定に関与する前に、「知らない場合を知る」必要があります。つまり、予測の不確実性を推定する必要があります。
これにより、潜在的に誤った予測を人間の病理学者に委ねることができるため、安全性が向上します。
ここでは、臨床組織病理学データに対するいくつかの不確実性推定方法の予測性能とキャリブレーションを評価します。
距離を考慮した不確実性推定方法が、モンテカルロ ドロップアウトやディープ アンサンブルなどの一般的に使用されるアプローチよりも優れていることを示します。
ただし、テストされたすべての不確実性推定方法で、新しいサンプルの予測性能とキャリブレーションの低下が見られます。
また、選択的予測のために分布外のサンプルを拒否するための不確実性のしきい値の使用についても調査します。
このアプローチの限界を示し、将来の研究分野を提案します。

要約(オリジナル)

In computational histopathology algorithms now outperform humans on a range of tasks, but to date none are employed for automated diagnoses in the clinic. Before algorithms can be involved in such high-stakes decisions they need to ‘know when they don’t know’, i.e., they need to estimate their predictive uncertainty. This allows them to defer potentially erroneous predictions to a human pathologist, thus increasing their safety. Here, we evaluate the predictive performance and calibration of several uncertainty estimation methods on clinical histopathology data. We show that a distance-aware uncertainty estimation method outperforms commonly used approaches, such as Monte Carlo dropout and deep ensembles. However, we observe a drop in predictive performance and calibration on novel samples across all uncertainty estimation methods tested. We also investigate the use of uncertainty thresholding to reject out-of-distribution samples for selective prediction. We demonstrate the limitations of this approach and suggest areas for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google