Conformal prediction under ambiguous ground truth

要約

安全性が重要な分類タスクでは、等角予測により、ユーザー指定の確率を持つ真のクラスを含む信頼セットを提供することで、厳密な不確実性の定量化を実行できます。
これは一般に、グランド トゥルース ラベルにアクセスできるホールドアウト キャリブレーション セットが利用可能であることを前提としています。
残念ながら、多くの分野では、そのようなラベルを取得するのは難しく、通常は専門家の意見を集約することで近似されます。
実際、これは、CIFAR や ImageNet などのよく知られたデータセットを含む、ほぼすべてのデータセットに当てはまります。
このようなラベルを使用して等角予測を適用すると、不確実性が過小評価されます。
実際、専門家の意見が解決できない場合、ラベルには固有の曖昧さが存在します。
つまり、「鮮明な」決定的なグラウンドトゥルースラベルが存在しないため、キャリブレーション中にこの不確実性を考慮する必要があります。
この論文では、入力が与えられたラベルの基礎となる事後分布の近似に依存する、そのような曖昧なグラウンドトゥルース設定のための等角予測フレームワークを開発します。
皮膚科における皮膚状態分類のケーススタディを含め、合成データセットと実際のデータセットに関する方法論を実証します。

要約(オリジナル)

In safety-critical classification tasks, conformal prediction allows to perform rigorous uncertainty quantification by providing confidence sets including the true class with a user-specified probability. This generally assumes the availability of a held-out calibration set with access to ground truth labels. Unfortunately, in many domains, such labels are difficult to obtain and usually approximated by aggregating expert opinions. In fact, this holds true for almost all datasets, including well-known ones such as CIFAR and ImageNet. Applying conformal prediction using such labels underestimates uncertainty. Indeed, when expert opinions are not resolvable, there is inherent ambiguity present in the labels. That is, we do not have “crisp”, definitive ground truth labels and this uncertainty should be taken into account during calibration. In this paper, we develop a conformal prediction framework for such ambiguous ground truth settings which relies on an approximation of the underlying posterior distribution of labels given inputs. We demonstrate our methodology on synthetic and real datasets, including a case study of skin condition classification in dermatology.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google