On Calibration in Multi-Distribution Learning

要約

機械学習における堅牢性、公平性、意思決定に関する現代の課題により、予測子が複数の分布にわたって最適化される多分布学習 (MDL) フレームワークの策定が行われています。
複数の分布にわたって予測変数がどのように均一に機能するかをよりよく理解するために、MDL のキャリブレーション プロパティを研究します。
適切なスコアリング損失の分解に関する古典的な結果を通じて、最初に MDL のベイズ最適ルールを導出し、それが関連する損失関数の一般化エントロピーを最大化することを実証します。
私たちの分析により、このアプローチでは最悪の場合の損失は最小限に抑えられますが、複数の分布にわたって不均一な校正エラーが発生する可能性があり、ベイズ最適性であっても固有の校正と洗練のトレードオフが存在することが明らかになりました。
私たちの結果は、重大な制限を浮き彫りにしています。MDL の有望性にもかかわらず、格差を最小限に抑えるために複数の分布に合わせた予測変数を設計するときは注意が必要です。

要約(オリジナル)

Modern challenges of robustness, fairness, and decision-making in machine learning have led to the formulation of multi-distribution learning (MDL) frameworks in which a predictor is optimized across multiple distributions. We study the calibration properties of MDL to better understand how the predictor performs uniformly across the multiple distributions. Through classical results on decomposing proper scoring losses, we first derive the Bayes optimal rule for MDL, demonstrating that it maximizes the generalized entropy of the associated loss function. Our analysis reveals that while this approach ensures minimal worst-case loss, it can lead to non-uniform calibration errors across the multiple distributions and there is an inherent calibration-refinement trade-off, even at Bayes optimality. Our results highlight a critical limitation: despite the promise of MDL, one must use caution when designing predictors tailored to multiple distributions so as to minimize disparity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google