Balancing Fairness and Accuracy in Data-Restricted Binary Classification

要約

機密情報を扱うアプリケーションでは、機械学習 (ML) 分類器で利用できるデータに制限が設けられている場合があります。
たとえば、一部のアプリケーションでは、分類子が機密属性に直接アクセスできない場合があり、正確で公平な決定を下す能力に影響を与えます。
このペーパーでは、分析に利用できるデータの種類を決定する 4 つの実際的なシナリオの下で、精度と公平性の間のトレードオフをモデル化するフレームワークを提案します。
以前の研究では、データセットの特徴ベクトル、クラスラベル、および機密属性の基礎となる分布を暗黙的に学習するようにトレーニングされたスコアリング関数の出力を分析することによって、このトレードオフを調査しました。
対照的に、私たちのフレームワークは、データセット自体から離散近似を構築することにより、この基礎となる分布に対する最適なベイジアン分類器の動作を直接分析します。
このアプローチにより、複数の凸最適化問題を定式化できるようになり、「公正であるように制約された場合、さまざまなデータ制限シナリオでベイジアン分類器の精度はどのように影響を受けるか?」という質問に答えることができます。
分析は、グループおよび個人の公平性を含む一連の公平性の定義に基づいて実行されます。
3 つのデータセットに関する実験は、さまざまな公平性の概念とその分布の依存関係間のトレードオフを定量化するツールとして、提案されたフレームワークの有用性を示しています。

要約(オリジナル)

Applications that deal with sensitive information may have restrictions placed on the data available to a machine learning (ML) classifier. For example, in some applications, a classifier may not have direct access to sensitive attributes, affecting its ability to produce accurate and fair decisions. This paper proposes a framework that models the trade-off between accuracy and fairness under four practical scenarios that dictate the type of data available for analysis. Prior works examine this trade-off by analyzing the outputs of a scoring function that has been trained to implicitly learn the underlying distribution of the feature vector, class label, and sensitive attribute of a dataset. In contrast, our framework directly analyzes the behavior of the optimal Bayesian classifier on this underlying distribution by constructing a discrete approximation it from the dataset itself. This approach enables us to formulate multiple convex optimization problems, which allow us to answer the question: How is the accuracy of a Bayesian classifier affected in different data restricting scenarios when constrained to be fair? Analysis is performed on a set of fairness definitions that include group and individual fairness. Experiments on three datasets demonstrate the utility of the proposed framework as a tool for quantifying the trade-offs among different fairness notions and their distributional dependencies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google