On Computationally Efficient Multi-Class Calibration

要約

マルチクラスのラベル付け問題を考えてみましょう。ラベルは $[k]$ の値を取ることができ、予測子はラベル全体の分布を予測します。
この研究では、次の基本的な質問を研究します。有意義な予測を強力に保証し、$k$ の時間とサンプル複雑さ多項式で達成できるマルチクラス キャリブレーションの概念はありますか?
キャリブレーションに関する従来の概念は、計算効率と表現力の間のトレードオフを示しています。サンプルの複雑さが $k$ で指数関数的に増加するか、計算上扱いにくい問題を解決する必要があるか、あるいは保証がかなり弱いかのいずれかです。
私たちの主な貢献は、これらすべての要望を達成するキャリブレーションの概念です。私たちは、マルチクラス予測に対する投影されたスムーズなキャリブレーションの堅牢な概念を定式化し、$k$ の複雑さ多項式を使用したこの定義に基づいて予測子を効率的にキャリブレーションするための新しい再キャリブレーション アルゴリズムを提供します。
投影されたスムーズなキャリブレーションは、次の形式のバイナリ分類問題に予測子を使用したいと考えているすべての下流の意思決定者に強力な保証を提供します。ラベルはサブセット $T \subseteq [k]$ に属しますか: 例:
これは動物のイメージですか？
これにより、$T$ 内のラベルに割り当てられた確率を合計することによって予測される確率が、そのタスクの完全に調整されたバイナリ予測子に近いことが保証されます。
また、定義を自然に強化することは計算的に達成するのが困難であることも示します。情報理論の障壁や計算の難しさにぶつかります。
上限と下限の両方の根底にあるのは、マルチクラスのキャリブレーションと、（標準の）バイナリ予測設定における不可知論的学習のよく研究された問題との間に密接な関係があることを証明していることです。

要約(オリジナル)

Consider a multi-class labelling problem, where the labels can take values in $[k]$, and a predictor predicts a distribution over the labels. In this work, we study the following foundational question: Are there notions of multi-class calibration that give strong guarantees of meaningful predictions and can be achieved in time and sample complexities polynomial in $k$? Prior notions of calibration exhibit a tradeoff between computational efficiency and expressivity: they either suffer from having sample complexity exponential in $k$, or needing to solve computationally intractable problems, or give rather weak guarantees. Our main contribution is a notion of calibration that achieves all these desiderata: we formulate a robust notion of projected smooth calibration for multi-class predictions, and give new recalibration algorithms for efficiently calibrating predictors under this definition with complexity polynomial in $k$. Projected smooth calibration gives strong guarantees for all downstream decision makers who want to use the predictor for binary classification problems of the form: does the label belong to a subset $T \subseteq [k]$: e.g. is this an image of an animal? It ensures that the probabilities predicted by summing the probabilities assigned to labels in $T$ are close to some perfectly calibrated binary predictor for that task. We also show that natural strengthenings of our definition are computationally hard to achieve: they run into information theoretic barriers or computational intractability. Underlying both our upper and lower bounds is a tight connection that we prove between multi-class calibration and the well-studied problem of agnostic learning in the (standard) binary prediction setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google