Improving Adaptive Conformal Prediction Using Self-Supervised Learning

要約

コンフォーマル予測は、不確実性を定量化するための強力な分布のないツールであり、有限サンプル保証で有効な予測区間を確立します。
各インスタンスの難易度にも適応する有効な間隔を生成するための一般的なアプローチは、別のキャリブレーション セットで正規化された不適合スコアを計算することです。
自己教師あり学習は、下流の予測子の一般的な表現を学習するために、多くのドメインで効果的に利用されています。
ただし、モデルの事前トレーニングと表現学習を超えた自己監視の使用は、ほとんど調査されていません。
この作業では、特に等角区間の適応性を改善することにより、自己監視型の口実タスクが等角リグレッサーの品質をどのように改善できるかを調査します。
既存の予測モデルの上に自己教師付きの口実タスクを使用して補助モデルをトレーニングし、自己教師付きエラーを追加機能として使用して、不適合スコアを推定します。
効率 (幅)、赤字、および共形予測区間の超過に関する合成データと実際のデータの両方を使用して、追加情報の利点を経験的に示します。

要約(オリジナル)

Conformal prediction is a powerful distribution-free tool for uncertainty quantification, establishing valid prediction intervals with finite-sample guarantees. To produce valid intervals which are also adaptive to the difficulty of each instance, a common approach is to compute normalized nonconformity scores on a separate calibration set. Self-supervised learning has been effectively utilized in many domains to learn general representations for downstream predictors. However, the use of self-supervision beyond model pretraining and representation learning has been largely unexplored. In this work, we investigate how self-supervised pretext tasks can improve the quality of the conformal regressors, specifically by improving the adaptability of conformal intervals. We train an auxiliary model with a self-supervised pretext task on top of an existing predictive model and use the self-supervised error as an additional feature to estimate nonconformity scores. We empirically demonstrate the benefit of the additional information using both synthetic and real data on the efficiency (width), deficit, and excess of conformal prediction intervals.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google