Auditing Fairness by Betting

要約

導入された分類モデルと回帰モデルの公平性を監査するための、実用的で効率的なノンパラメトリックな方法を提供します。
これまでの研究は固定サンプル サイズに依存していましたが、私たちの方法は逐次的であり、受信データの継続的な監視が可能であり、現実世界のシステムの公平性を追跡するのに非常に適しています。
また、母集団から均一にサンプリングするのではなく、確率的ポリシーによってデータを収集することもできます。
これにより、別の目的で収集されたデータに対して監査を実行できるようになります。
さらに、このポリシーは時間の経過とともに変更される可能性があり、異なる部分母集団に対して異なるポリシーが使用される場合があります。
最後に、私たちの方法は、モデルの変更または基礎となる母集団の変更のいずれかによって生じる分布のシフトを処理できます。
私たちのアプローチは、いつでも有効な推論とゲーム理論の統計、特に「賭けによるテスト」フレームワークにおける最近の進歩に基づいています。
これらの接続により、メソッドが解釈可能で高速かつ簡単に実装できることが保証されます。
3 つのベンチマーク公平性データセットに対するアプローチの有効性を実証します。

要約(オリジナル)

We provide practical, efficient, and nonparametric methods for auditing the fairness of deployed classification and regression models. Whereas previous work relies on a fixed-sample size, our methods are sequential and allow for the continuous monitoring of incoming data, making them highly amenable to tracking the fairness of real-world systems. We also allow the data to be collected by a probabilistic policy as opposed to sampled uniformly from the population. This enables auditing to be conducted on data gathered for another purpose. Moreover, this policy may change over time and different policies may be used on different subpopulations. Finally, our methods can handle distribution shift resulting from either changes to the model or changes in the underlying population. Our approach is based on recent progress in anytime-valid inference and game-theoretic statistics-the ‘testing by betting’ framework in particular. These connections ensure that our methods are interpretable, fast, and easy to implement. We demonstrate the efficacy of our approach on three benchmark fairness datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google