Unprocessing Seven Years of Algorithmic Fairness

要約

7 年前、研究者らは、異なる人口統計グループ間でモデルのエラー率を均一にする後処理方法を提案しました。
この研究により、後処理のベースラインを改善することを主張する何百もの論文が発表されました。
私たちは、いくつかの表形式のデータセットに対する数千のモデル評価を通じて、これらの主張を経験的に評価しています。
後処理によって達成された公平性精度のパレート フロンティアには、実行可能に評価できた他のすべての方法が含まれていることがわかりました。
そうすることで、これまでの観察を混乱させた 2 つの一般的な方法論上の誤りに対処します。
1 つは、さまざまな制約のない基本モデルを使用したメソッドの比較に関するものです。
もう 1 つは、さまざまなレベルの制約緩和を実現する方法に関するものです。
私たちの研究の中心となるのは、後処理の逆にほぼ対応する、未処理と呼ぶ単純なアイデアです。
未処理により、さまざまな基礎モデルと緩和レベルを使用したメソッドを直接比較できます。
私たちの発見を解釈すると、私たちが観察したことを正確に予測した、7 年前に発表された、広く見落とされていた理論的議論を思い出します。

要約(オリジナル)

Seven years ago, researchers proposed a postprocessing method to equalize the error rates of a model across different demographic groups. The work launched hundreds of papers purporting to improve over the postprocessing baseline. We empirically evaluate these claims through thousands of model evaluations on several tabular datasets. We find that the fairness-accuracy Pareto frontier achieved by postprocessing contains all other methods we were feasibly able to evaluate. In doing so, we address two common methodological errors that have confounded previous observations. One relates to the comparison of methods with different unconstrained base models. The other concerns methods achieving different levels of constraint relaxation. At the heart of our study is a simple idea we call unprocessing that roughly corresponds to the inverse of postprocessing. Unprocessing allows for a direct comparison of methods using different underlying models and levels of relaxation. Interpreting our findings, we recall a widely overlooked theoretical argument, present seven years ago, that accurately predicted what we observe.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google