Conformal Prediction as Bayesian Quadrature

要約

機械学習ベースの予測システムは、ハイステークスの状況でますます使用されているため、そのような予測モデルが展開時にどのように機能するかを理解することが重要です。
コンフォーマル予測などの分布のない不確実性の定量化手法は、モデルの詳細が隠されていても、ブラックボックスモデルの損失に関する保証を提供します。
ただし、そのような方法は、頻繁な確率に基づいており、適用性を過度に制限します。
私たちは、ベイジアンの観点からコンフォーマル予測の中心的な側面を再訪し、それによって頻繁な保証の欠点を明らかにします。
私たちは、解釈可能な保証を提供し、テスト時に観察される可能性のある損失の範囲をより豊かに表現するベイジアン四角系に基づく実用的な代替案を提案します。

要約(オリジナル)

As machine learning-based prediction systems are increasingly used in high-stakes situations, it is important to understand how such predictive models will perform upon deployment. Distribution-free uncertainty quantification techniques such as conformal prediction provide guarantees about the loss black-box models will incur even when the details of the models are hidden. However, such methods are based on frequentist probability, which unduly limits their applicability. We revisit the central aspects of conformal prediction from a Bayesian perspective and thereby illuminate the shortcomings of frequentist guarantees. We propose a practical alternative based on Bayesian quadrature that provides interpretable guarantees and offers a richer representation of the likely range of losses to be observed at test time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google