CAS: A General Algorithm for Online Selective Conformal Prediction with FCR Control

要約

私たちはオンライン形式で選択後の予測推論の問題を研究します。
重要でないユニットにリソースが割かれるのを避けるため、オンライン予測タスクでは、予測間隔を報告する前に現在の個体を事前に選択することが一般的であり、意味があります。
オンライン選択により、選択された予測区間に時間的多重性が生じるため、リアルタイムの誤ったカバレッジステートメント率 (FCR) を制御して平均誤カバレッジ誤差を測定することが重要です。
私たちは、任意の予測モデルとオンライン選択ルールをラップして選択後の予測間隔を出力できる、CAS (適応選択後のキャリブレーション) という名前の一般的なフレームワークを開発します。
現在の個体が選択された場合、まず履歴データに対して適応選択を実行してキャリブレーション セットを構築し、次に未観測ラベルの等角予測区間を出力します。
当社は、一般的なオンライン選択ルール用のキャリブレーション セットの扱いやすい構造を提供します。
私たちは、CAS が有限サンプルおよび分布なしの体制で正確な選択条件付きカバレッジ保証を達成できることを証明しました。
ほとんどのオンライン複数テスト手順を含む意思決定主導の選択ルールの場合、CAS は、分布の仮定なしにリアルタイム FCR を目標レベル以下に正確に制御できます。
対称しきい値を使用したオンライン選択の場合、穏やかな分布仮定の下で FCR の制御ギャップの誤差限界を確立します。
オンライン データの分布の変化を考慮するために、最近の動的等角予測手法に CAS を組み込み、長期にわたる FCR 制御を調べます。
合成データと実際のデータの両方に関する数値結果は、CAS が目標レベル付近で FCR を効果的に制御し、さまざまな設定にわたって既存のベースラインよりも狭い予測間隔を生み出すことができることを裏付けています。

要約(オリジナル)

We study the problem of post-selection predictive inference in an online fashion. To avoid devoting resources to unimportant units, a preliminary selection of the current individual before reporting its prediction interval is common and meaningful in online predictive tasks. Since the online selection causes a temporal multiplicity in the selected prediction intervals, it is important to control the real-time false coverage-statement rate (FCR) to measure the averaged miscoverage error. We develop a general framework named CAS (Calibration after Adaptive Selection) that can wrap around any prediction model and online selection rule to output post-selection prediction intervals. If the current individual is selected, we first perform an adaptive selection on historical data to construct a calibration set, then output a conformal prediction interval for the unobserved label. We provide tractable constructions for the calibration set for popular online selection rules. We proved that CAS can achieve an exact selection-conditional coverage guarantee in the finite-sample and distribution-free regimes. For the decision-driven selection rule, including most online multiple-testing procedures, CAS can exactly control the real-time FCR below the target level without any distributional assumptions. For the online selection with symmetric thresholds, we establish the error bound for the control gap of FCR under mild distributional assumptions. To account for the distribution shift in online data, we also embed CAS into some recent dynamic conformal prediction methods and examine the long-run FCR control. Numerical results on both synthetic and real data corroborate that CAS can effectively control FCR around the target level and yield more narrowed prediction intervals over existing baselines across various settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google