Kandinsky Conformal Prediction: Efficient Calibration of Image Segmentation Algorithms

要約

画像セグメンテーション アルゴリズムは、近くのピクセルの結果が相関するピクセル分類子のコレクションとして理解できます。
分類子モデルは帰納的等角予測を使用して校正できますが、これにはモデルの予測の不適合スコアの分布を計算するために十分な大きさの校正データセットを保持する必要があります。
画像レベルでの限界キャリブレーションのみが必要な場合、このキャリブレーション セットは、キャリブレーションに使用できる画像内のすべての個々のピクセルで構成されます。
ただし、目標が個々のピクセル分類子ごとに適切なキャリブレーションを達成することである場合、キャリブレーション セットは個々の画像で構成されます。
データが不足しているシナリオ (医療分野など) では、このピクセル レベルのキャリブレーション用に十分な数の画像を確保しておくことが常に可能であるとは限りません。
私たちが提案する「カンディンスキー校正」と呼ばれる方法は、自然画像の分布に存在する空間構造を利用して、「類似した」ピクセルの分類器を同時に校正します。
これは、マージナル (画像ごと) キャリブレーションと条件付き (ピクセルごと) キャリブレーションの間の中間的なアプローチと見なすことができ、不適合スコアが類似した画像領域にわたって集計されるため、キャリブレーションに使用できる画像がより効率的に使用されます。
私たちは、公開されている MS-COCO および Medical Decathlon データセットのサブセットでトレーニングおよびキャリブレーションされたセグメンテーション アルゴリズムで実験を実行し、カンディンスキー キャリブレーション手法がカバレッジを大幅に改善できることを実証しました。
少量のデータに対するピクセル単位および画像単位のキャリブレーションと比較すると、カンディンスキー法ではカバレッジ エラーがはるかに低くなり、カンディンスキー キャリブレーションのデータ効率がわかります。

要約(オリジナル)

Image segmentation algorithms can be understood as a collection of pixel classifiers, for which the outcomes of nearby pixels are correlated. Classifier models can be calibrated using Inductive Conformal Prediction, but this requires holding back a sufficiently large calibration dataset for computing the distribution of non-conformity scores of the model’s predictions. If one only requires only marginal calibration on the image level, this calibration set consists of all individual pixels in the images available for calibration. However, if the goal is to attain proper calibration for each individual pixel classifier, the calibration set consists of individual images. In a scenario where data are scarce (such as the medical domain), it may not always be possible to set aside sufficiently many images for this pixel-level calibration. The method we propose, dubbed “Kandinsky calibration”, makes use of the spatial structure present in the distribution of natural images to simultaneously calibrate the classifiers of “similar” pixels. This can be seen as an intermediate approach between marginal (imagewise) and conditional (pixelwise) calibration, where non-conformity scores are aggregated over similar image regions, thereby making more efficient use of the images available for calibration. We run experiments on segmentation algorithms trained and calibrated on subsets of the public MS-COCO and Medical Decathlon datasets, demonstrating that Kandinsky calibration method can significantly improve the coverage. When compared to both pixelwise and imagewise calibration on little data, the Kandinsky method achieves much lower coverage errors, indicating the data efficiency of the Kandinsky calibration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google