When is Multicalibration Post-Processing Necessary?

要約

キャリブレーションは、意味のある不確実性の推定を保証する、よく研究された予測子の特性です。
マルチキャリブレーションは、アルゴリズムの公平性に由来する関連する概念であり、保護される部分母集団 (民族、人種、収入によって定義されるグループなど) の潜在的に複雑で重複するコレクションに対して予測変数を同時にキャリブレーションする必要があります。
私たちは、単純なデシジョン ツリーから 9,000 万のパラメーターで微調整された LLM に至るモデルの表形式、画像、言語データセットの広範なセットにわたってマルチキャリブレーション後処理の有用性を評価する最初の包括的な研究を実施します。
私たちの発見は次のように要約できます。(1) すぐにキャリブレーションされたモデルは、追加の後処理なしで比較的マルチキャリブレーションされる傾向があります。
(2) マルチキャリブレーションの後処理は、本質的にキャリブレーションされていないモデルを支援できます。
(3) 従来のキャリブレーション手段は、暗黙的にマルチキャリブレーションを提供する場合があります。
より一般的には、実世界のコンテキストでのマルチキャリブレーション後処理の実用的かつ効果的なアプリケーションに役立つ可能性のある多くの独立した観察結果も抽出します。

要約(オリジナル)

Calibration is a well-studied property of predictors which guarantees meaningful uncertainty estimates. Multicalibration is a related notion — originating in algorithmic fairness — which requires predictors to be simultaneously calibrated over a potentially complex and overlapping collection of protected subpopulations (such as groups defined by ethnicity, race, or income). We conduct the first comprehensive study evaluating the usefulness of multicalibration post-processing across a broad set of tabular, image, and language datasets for models spanning from simple decision trees to 90 million parameter fine-tuned LLMs. Our findings can be summarized as follows: (1) models which are calibrated out of the box tend to be relatively multicalibrated without any additional post-processing; (2) multicalibration post-processing can help inherently uncalibrated models; and (3) traditional calibration measures may sometimes provide multicalibration implicitly. More generally, we also distill many independent observations which may be useful for practical and effective applications of multicalibration post-processing in real-world contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google