Omnipredictors for Constrained Optimization

要約

omn​​ipredictors (Gopalan、Kalai、Reingold、Sharan、Wieder ITCS 2021) の概念は、損失を最小化するための新しいパラダイムを提案しました。
既知の損失関数に基づいて予測子を学習するのではなく、全予測子を簡単に後処理して、クラス $\mathcal C$ の仮説の損失と比較して、損失関数の豊富なファミリのいずれかを最小化できます。
そのようなオムニプレディクターが存在し、アルゴリズムの公平性の文献からのマルチキャリブレーションの概念によって (すべての凸関数およびリプシッツ損失関数に対して) 暗示されていることが示されています。
この論文では、制約付き最適化のためのオムニプレディクターを紹介し、その複雑さと意味を研究します。
私たちが導入する概念により、これらの制約を定義するために使用される部分母集団が既知である限り、学習者は、後で課される制約だけでなく、後で割り当てられる損失関数にも気付かないことができます。
マルチキャリブレーションの適切なバリアントに依存して、制約付き最適化問題のオムニプレディクターを取得する方法を示します。
また、使用される制約がいわゆるグループ公平性概念である場合、この概念の意味を調査します。

要約(オリジナル)

The notion of omnipredictors (Gopalan, Kalai, Reingold, Sharan and Wieder ITCS 2021), suggested a new paradigm for loss minimization. Rather than learning a predictor based on a known loss function, omnipredictors can easily be post-processed to minimize any one of a rich family of loss functions compared with the loss of hypotheses in a class $\mathcal C$. It has been shown that such omnipredictors exist and are implied (for all convex and Lipschitz loss functions) by the notion of multicalibration from the algorithmic fairness literature. In this paper, we introduce omnipredictors for constrained optimization and study their complexity and implications. The notion that we introduce allows the learner to be unaware of the loss function that will be later assigned as well as the constraints that will be later imposed, as long as the subpopulations that are used to define these constraints are known. We show how to obtain omnipredictors for constrained optimization problems, relying on appropriate variants of multicalibration. We also investigate the implications of this notion when the constraints used are so-called group fairness notions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google