CAP: A General Algorithm for Online Selective Conformal Prediction with FCR Control

要約

選択後の予測推論の問題をオンラインで研究します。
重要でないユニットへのリソースの献身を避けるために、予測間隔を報告する前に現在の個人の予備選択は、オンライン予測タスクで一般的かつ意味があります。
オンライン選択は、選択された予測間隔に時間的多重性を引き起こすため、全体的なミスベージレベルを測定するリアルタイムの誤ったカバレッジステートメント率（FCR）を制御することが重要です。
現在の個人が選択されている場合にキャリブレーションセットを構築するために履歴データの適応ピックルールを実行し、観察されていないラベルのコンフォーマル予測間隔を出力するという名前のCAP（適応ピック後のキャリブレーション）という名前の一般的なフレームワーク（適応ピック後のキャリブレーション）を開発します。
人気のあるオンライン選択ルール向けのキャリブレーションセットを構築するための扱いやすい手順を提供します。
CAPが有限サンプルおよび分布のないレジームで正確な選択条件のカバレッジ保証を達成できることを証明しました。
オンラインデータの分布シフトを説明するために、CAPを最近の動的コンフォーマル予測アルゴリズムに埋め込み、提案された方法が長期のFCR制御を提供できることを示しています。
合成データと実際のデータの両方の数値結果は、CAPがターゲットレベルの周りでFCRを効果的に制御し、さまざまな設定で既存のベースラインでより狭い予測間隔を生成できることを裏付けています。

要約(オリジナル)

We study the problem of post-selection predictive inference in an online fashion. To avoid devoting resources to unimportant units, a preliminary selection of the current individual before reporting its prediction interval is common and meaningful in online predictive tasks. Since the online selection causes a temporal multiplicity in the selected prediction intervals, it is important to control the real-time false coverage-statement rate (FCR) which measures the overall miscoverage level. We develop a general framework named CAP (Calibration after Adaptive Pick) that performs an adaptive pick rule on historical data to construct a calibration set if the current individual is selected and then outputs a conformal prediction interval for the unobserved label. We provide tractable procedures for constructing the calibration set for popular online selection rules. We proved that CAP can achieve an exact selection-conditional coverage guarantee in the finite-sample and distribution-free regimes. To account for the distribution shift in online data, we also embed CAP into some recent dynamic conformal prediction algorithms and show that the proposed method can deliver long-run FCR control. Numerical results on both synthetic and real data corroborate that CAP can effectively control FCR around the target level and yield more narrowed prediction intervals over existing baselines across various settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google