Conformal Risk Control

要約

タイトル：Conformal Risk Control

要約：
– 損失関数のモノトニック性を保ちつつ、任意の損失関数の期待値を制御するためのコンフォーマル予測を拡張する。
– このアルゴリズムは、スプリットコンフォーマル予測を一般化したものであり、カバレッジの保証も持っている。
– コンフォーマル予測同様、コンフォーマルリスク制御手法は、$\mathcal{O}(1/n)$の因子まで正確である。
– 分布シフト、分位数リスク制御、複数および敵対的リスク制御、U-統計量の期待値についても拡張される。
– コンピュータビジョンおよび自然言語処理の例を示し、偽陰性率、グラフ距離、トークンレベルのF1スコアを制御するためにアルゴリズムを使用する方法を示す。

要約(オリジナル)

We extend conformal prediction to control the expected value of any monotone loss function. The algorithm generalizes split conformal prediction together with its coverage guarantee. Like conformal prediction, the conformal risk control procedure is tight up to an $\mathcal{O}(1/n)$ factor. We also introduce extensions of the idea to distribution shift, quantile risk control, multiple and adversarial risk control, and expectations of U-statistics. Worked examples from computer vision and natural language processing demonstrate the usage of our algorithm to bound the false negative rate, graph distance, and token-level F1-score.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI