Improved Online Conformal Prediction via Strongly Adaptive Online Learning

要約

データ分布が時間の経過とともに任意に変化する可能性があるオンライン設定で、予測セットを介した不確実性の定量化の問題を研究します。
最近の研究では、オンライン学習文献の後悔最小化アルゴリズムを活用して、ほぼ有効なカバレッジと小さな後悔で予測セットを学習するオンライン正角予測技術が開発されています。
ただし、標準的な後悔の最小化は、変化する環境を処理するには不十分である可能性があります。この場合、全時間範囲だけでなく、すべての (サブ) 時間間隔でもパフォーマンスの保証が必要になる場合があります。
固定長のすべての間隔で最悪の場合の後悔を測定する、強く適応する後悔を最小限に抑える新しいオンライン等角予測方法を開発します。
私たちの方法が、すべての間隔の長さに対して同時に最適に近い強力な適応後悔を達成し、ほぼ有効なカバレッジを達成することを証明します。
実験では、時系列予測や分布シフト下での画像分類など、実世界のタスクに対する既存の方法よりも、私たちの方法が一貫してより良いカバレッジとより小さな予測セットを取得することが示されています。

要約(オリジナル)

We study the problem of uncertainty quantification via prediction sets, in an online setting where the data distribution may vary arbitrarily over time. Recent work develops online conformal prediction techniques that leverage regret minimization algorithms from the online learning literature to learn prediction sets with approximately valid coverage and small regret. However, standard regret minimization could be insufficient for handling changing environments, where performance guarantees may be desired not only over the full time horizon but also in all (sub-)intervals of time. We develop new online conformal prediction methods that minimize the strongly adaptive regret, which measures the worst-case regret over all intervals of a fixed length. We prove that our methods achieve near-optimal strongly adaptive regret for all interval lengths simultaneously, and approximately valid coverage. Experiments show that our methods consistently obtain better coverage and smaller prediction sets than existing methods on real-world tasks, such as time series forecasting and image classification under distribution shift.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google