Conformal prediction under ambiguous ground truth

要約

等角予測 (CP) を使用すると、ユーザーが選択した $\mathbb{P}(Y \in C(X))\geq 1-\alpha$ を満たす予測セット $C(X)$ を構築することで、厳密な不確実性の定量化を実行できます。
$\mathbb{P}=\mathbb{P}^{X} の校正データ $(X_1,Y_1),…,(X_n,Y_n)$ に依存する $\alpha \in [0,1]$
\otimes \mathbb{P}^{Y|X}$。
通常、$\mathbb{P}^{Y|X}$ が「真の」事後ラベル分布であると暗黙的に想定されます。
ただし、現実世界の多くのシナリオでは、ラベル $Y_1,…,Y_n$ は、投票手順を使用して専門家の意見を集約することによって取得され、その結果、ワンホット分布 $\mathbb{P}_{vote}^{
Y|X}$。
したがって、そのような「投票された」ラベルの場合、CP 保証は無効になります。
真の分布 $\mathbb{P}$ ではなく $\mathbb{P}_{vote}=\mathbb{P}^X \otimes \mathbb{P}_{vote}^{Y|X}$ です。
明確なグラウンド トゥルース ラベルの場合、$\mathbb{P}_{vote}$ と $\mathbb{P}$ の区別は無関係です。
ただし、ラベルがあいまいで専門家が同意しない場合、$\mathbb{P}^{Y|X}$ を one-hot 分布 $\mathbb{P}_{vote}^{Y|X}$ で近似すると無視されます。
この不確実性。
この論文では、専門家の意見を活用して、非縮退分布 $\mathbb{P}_{agg}^{Y|X}$ を使用して $\mathbb{P}^{Y|X}$ を近似することを提案します。
当社は、モンテカルロ CP 手順を開発し、保証を提供します。
$\mathbb{P}_{agg}=\mathbb{P}^X \otimes \mathbb{P}_{agg}^{Y|X}$ ($\mathbb{P} から複数の合成擬似ラベルをサンプリングする)
各キャリブレーション例 $X_1,…,X_n$ の _{agg}^{Y|X}$。
専門家アノテーター間で大きな意見の相違があった皮膚状態分類のケーススタディでは、CP を適用すると、
$\mathbb{P}_{vote}$ は専門家の注釈をカバーしていません: $72\%$ の範囲で調整されていますが、平均 $10\%$ 足りません。
私たちのモンテカルロ CP は、経験的にも理論的にもこのギャップを埋めます。

要約(オリジナル)

Conformal Prediction (CP) allows to perform rigorous uncertainty quantification by constructing a prediction set $C(X)$ satisfying $\mathbb{P}(Y \in C(X))\geq 1-\alpha$ for a user-chosen $\alpha \in [0,1]$ by relying on calibration data $(X_1,Y_1),…,(X_n,Y_n)$ from $\mathbb{P}=\mathbb{P}^{X} \otimes \mathbb{P}^{Y|X}$. It is typically implicitly assumed that $\mathbb{P}^{Y|X}$ is the ‘true’ posterior label distribution. However, in many real-world scenarios, the labels $Y_1,…,Y_n$ are obtained by aggregating expert opinions using a voting procedure, resulting in a one-hot distribution $\mathbb{P}_{vote}^{Y|X}$. For such “voted” labels, CP guarantees are thus w.r.t. $\mathbb{P}_{vote}=\mathbb{P}^X \otimes \mathbb{P}_{vote}^{Y|X}$ rather than the true distribution $\mathbb{P}$. In cases with unambiguous ground truth labels, the distinction between $\mathbb{P}_{vote}$ and $\mathbb{P}$ is irrelevant. However, when experts do not agree because of ambiguous labels, approximating $\mathbb{P}^{Y|X}$ with a one-hot distribution $\mathbb{P}_{vote}^{Y|X}$ ignores this uncertainty. In this paper, we propose to leverage expert opinions to approximate $\mathbb{P}^{Y|X}$ using a non-degenerate distribution $\mathbb{P}_{agg}^{Y|X}$. We develop Monte Carlo CP procedures which provide guarantees w.r.t. $\mathbb{P}_{agg}=\mathbb{P}^X \otimes \mathbb{P}_{agg}^{Y|X}$ by sampling multiple synthetic pseudo-labels from $\mathbb{P}_{agg}^{Y|X}$ for each calibration example $X_1,…,X_n$. In a case study of skin condition classification with significant disagreement among expert annotators, we show that applying CP w.r.t. $\mathbb{P}_{vote}$ under-covers expert annotations: calibrated for $72\%$ coverage, it falls short by on average $10\%$; our Monte Carlo CP closes this gap both empirically and theoretically.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google