Likelihood-Ratio Regularized Quantile Regression: Adapting Conformal Prediction to High-Dimensional Covariate Shifts

要約

共変量シフトの下でのコンフォーマル予測の問題を考慮します。
ソースドメインからのラベル付きデータと、共変量シフトターゲットドメインからの非標識データが与えられた場合、ターゲットドメインに有効な限界カバレッジを持つ予測セットを構築しようとします。
ほとんどの既存の方法では、未知の尤度比関数を推定する必要があります。これは、画像などの高次元データでは禁止されている可能性があります。
この課題に対処するために、未知の尤度比を推定せずにしきい値関数を直接推定するために、ピンボール損失を正規化の新しい選択と組み合わせた尤度比が正規化された分位回帰（LR-QR）アルゴリズムを導入します。
LR-QRメソッドは、ターゲットドメインの目的のレベルで、制御できる小さなエラー用語までのカバレッジがあることを示します。
私たちの証拠は、学習理論からの安定性の境界を介したカバレッジの新しい分析を利用しています。
私たちの実験は、LR-QRアルゴリズムが、コミュニティや犯罪データセットの回帰タスク、Wildsリポジトリの画像分類タスクなど、高次元予測タスクの既存の方法を上回ることを示しています。

要約(オリジナル)

We consider the problem of conformal prediction under covariate shift. Given labeled data from a source domain and unlabeled data from a covariate shifted target domain, we seek to construct prediction sets with valid marginal coverage in the target domain. Most existing methods require estimating the unknown likelihood ratio function, which can be prohibitive for high-dimensional data such as images. To address this challenge, we introduce the likelihood ratio regularized quantile regression (LR-QR) algorithm, which combines the pinball loss with a novel choice of regularization in order to construct a threshold function without directly estimating the unknown likelihood ratio. We show that the LR-QR method has coverage at the desired level in the target domain, up to a small error term that we can control. Our proofs draw on a novel analysis of coverage via stability bounds from learning theory. Our experiments demonstrate that the LR-QR algorithm outperforms existing methods on high-dimensional prediction tasks, including a regression task for the Communities and Crime dataset, and an image classification task from the WILDS repository.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google