Class-Conditional Conformal Prediction With Many Classes

要約

標準的な等角予測方法では、限界カバレッジ保証が提供されます。これは、ランダムなテスト ポイントの場合、等角予測セットには、ユーザーが選択した確率で真のラベルが含まれることを意味します。
多くの分類問題では、特定のクラスのテスト ポイントについて、ユーザーが選択した同じ確率で予測セットに真のラベルが含まれるという、より強力な保証を取得したいと考えています。
クラス数が多い実際のアプリケーションではよくあることですが、クラスあたりのラベル付きデータの量が限られている場合、既存の等角予測方法はうまく機能しません。
我々は、クラスター化等形予測と呼ばれる方法を提案します。これは、「類似した」等形スコアを持つクラスをクラスター化し、クラスター レベルで等形予測を実行します。
多くの (最大 1000) クラスを含む 4 つの画像データ セットにわたる経験的評価に基づいて、クラス条件付きカバレッジとセット サイズ メトリックの点で、クラスター化コンフォーマルが通常、既存の方法よりも優れていることがわかりました。

要約(オリジナル)

Standard conformal prediction methods provide a marginal coverage guarantee, which means that for a random test point, the conformal prediction set contains the true label with a user-chosen probability. In many classification problems, we would like to obtain a stronger guarantee — that for test points of a specific class, the prediction set contains the true label with the same user-chosen probability. Existing conformal prediction methods do not work well when there is a limited amount of labeled data per class, as is often the case in real applications where the number of classes is large. We propose a method called clustered conformal prediction, which clusters together classes that have ‘similar’ conformal scores and then performs conformal prediction at the cluster level. Based on empirical evaluation across four image data sets with many (up to 1000) classes, we find that clustered conformal typically outperforms existing methods in terms of class-conditional coverage and set size metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google