Conformalized Credal Regions for Classification with Ambiguous Ground Truth

要約

\emph{不正確な確率的機械学習} における未解決の問題は、事前の知識や仮定なしに、入手可能なデータからクレダル領域 (つまり、出力空間上の閉じた凸の確率群) を経験的に導出する方法です。
分類問題において、クレダル領域は、ラベルの分布に関する不確実性を特徴付けることにより、現実的な仮定の下で証明可能な保証を提供できるツールです。
以前の研究に基づいて、我々は、等角法を使用してクレダル領域を直接構築できることを示します。
これにより、曖昧なグラウンドトゥルースの問題、つまり、与えられた入力の正確なラベルが正確にわかっていない場合に、古典的な等角予測の新しい拡張を提供することができます。
結果として得られる構造は、望ましい実用的および理論的特性を享受します。(i) 等角カバレッジの保証、(ii) より小さな予測セット (古典的な等角予測領域と比較して)、および (iii) 不確実性源のもつれの解消 (認識的、偶然的)。
私たちは合成データセットと実際のデータセットの両方で結果を経験的に検証します。

要約(オリジナル)

An open question in \emph{Imprecise Probabilistic Machine Learning} is how to empirically derive a credal region (i.e., a closed and convex family of probabilities on the output space) from the available data, without any prior knowledge or assumption. In classification problems, credal regions are a tool that is able to provide provable guarantees under realistic assumptions by characterizing the uncertainty about the distribution of the labels. Building on previous work, we show that credal regions can be directly constructed using conformal methods. This allows us to provide a novel extension of classical conformal prediction to problems with ambiguous ground truth, that is, when the exact labels for given inputs are not exactly known. The resulting construction enjoys desirable practical and theoretical properties: (i) conformal coverage guarantees, (ii) smaller prediction sets (compared to classical conformal prediction regions) and (iii) disentanglement of uncertainty sources (epistemic, aleatoric). We empirically verify our findings on both synthetic and real datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google