Three Types of Calibration with Properties and their Semantic and Formal Relationships

要約

「信頼性」とアルゴリズムの公平性に関する議論に支えられて、予測システムのキャリブレーションは学者の注目を集めています。
バニラの定義とキャリブレーションの理解は、雨の可能性がpであると予測されているすべての日に、単純に言えば、雨の日の実際の頻度はpでした。
しかし、注目の高まりは、「キャリブレーション」の膨大な多様な新しい概念につながりました。
概念のいくつかは比類のない、異なる目的に役立つ、またはお互いを暗示しています。
この作業では、キャリブレーションを動機付ける2つのアカウントを提供します。予測特性の自己実現と、予測に依存する意思決定者の発生した損失の正確な推定です。
私たちは、反射原則を介して前者を実証し、後者は保険数理の公平性によって実証します。
両方のアカウントについて、結果分配のプロパティ$ \ gamma $、たとえば平均または中央値を介してプロトタイプの定義を策定します。
$ \ gamma $ qualibrationと呼ばれる自己実現のプロトタイプの定義は、特定の条件下での特定のタイプのスワップ後悔に相当します。
これらの意味は、Omniprediction Learning Paradigmに強く関連しています。
正確な損失推定のプロトタイプの定義は、Zhao et alから採用された決定キャリブレーションの変更です。
[73]。
バイナリの結果の場合、両方のプロトタイプの定義は、参照特性の適切な選択の下で一致します。
高次元の結果セットの場合、両方のプロトタイプの定義は、プロパティに関する分布キャリブレーションと呼ばれるバイナリ定義の自然な拡張によって包含される可能性があります。
最後に、マルチブランド化を取得するためによく使用されるキャリブレーションの両方のアカウントでのグループの役割についてコメントすることでコメントします。
要するに、この作業は、概念と定義の断片化された地形をナビゲートするために、キャリブレーションのセマンティックマップを提供します。

要約(オリジナル)

Fueled by discussions around ‘trustworthiness’ and algorithmic fairness, calibration of predictive systems has regained scholars attention. The vanilla definition and understanding of calibration is, simply put, on all days on which the rain probability has been predicted to be p, the actual frequency of rain days was p. However, the increased attention has led to an immense variety of new notions of ‘calibration.’ Some of the notions are incomparable, serve different purposes, or imply each other. In this work, we provide two accounts which motivate calibration: self-realization of forecasted properties and precise estimation of incurred losses of the decision makers relying on forecasts. We substantiate the former via the reflection principle and the latter by actuarial fairness. For both accounts we formulate prototypical definitions via properties $\Gamma$ of outcome distributions, e.g., the mean or median. The prototypical definition for self-realization, which we call $\Gamma$-calibration, is equivalent to a certain type of swap regret under certain conditions. These implications are strongly connected to the omniprediction learning paradigm. The prototypical definition for precise loss estimation is a modification of decision calibration adopted from Zhao et al. [73]. For binary outcome sets both prototypical definitions coincide under appropriate choices of reference properties. For higher-dimensional outcome sets, both prototypical definitions can be subsumed by a natural extension of the binary definition, called distribution calibration with respect to a property. We conclude by commenting on the role of groupings in both accounts of calibration often used to obtain multicalibration. In sum, this work provides a semantic map of calibration in order to navigate a fragmented terrain of notions and definitions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google