Mirror Online Conformal Prediction with Intermittent Feedback

要約

オンラインのコンフォーマル予測により、そのパフォーマンスに関するフィードバックを使用して、事前に訓練された人工知能モデルのランタイムキャリブレーションが可能になります。
キャリブレーションは、長期的なカバレッジ保証を確保するために、オンラインルールを介して更新されるセット予測によって達成されます。
最近の研究では、事前知識をキャリブレーションプロセスに組み込むことの利点が実証されていますが、これは、カバレッジ保証を、分位の損失に基づく具体的な後悔保証に置き換えるための犠牲を払っています。
この作業では、断続的なミラーオンラインコンフォーマル予測（IM-OCP）を紹介します。これは、長期的なカバレッジを維持し、線形下の後悔を達成しながら、事前知識を統合する新しいランタイムキャリブレーションフレームワークです。
IM-OCPは、メモリの複雑さを最小限に抑えたクローズドフォームの更新を備えており、潜在的に断続的なフィードバックの下で動作するように設計されています。

要約(オリジナル)

Online conformal prediction enables the runtime calibration of a pre-trained artificial intelligence model using feedback on its performance. Calibration is achieved through set predictions that are updated via online rules so as to ensure long-term coverage guarantees. While recent research has demonstrated the benefits of incorporating prior knowledge into the calibration process, this has come at the cost of replacing coverage guarantees with less tangible regret guarantees based on the quantile loss. This work introduces intermittent mirror online conformal prediction (IM-OCP), a novel runtime calibration framework that integrates prior knowledge, while maintaining long-term coverage and achieving sub-linear regret. IM-OCP features closed-form updates with minimal memory complexity, and is designed to operate under potentially intermittent feedback.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google