A structured regression approach for evaluating model performance across intersectional subgroups

要約

細分化された評価は AI 公平性評価の中心的なタスクであり、人口統計やその他の機密属性の組み合わせによって定義されるさまざまなサブグループ全体で AI システムのパフォーマンスを測定することを目的としています。
標準的なアプローチは、サブグループ全体で評価データを層別化し、各グループのパフォーマンス指標を個別に計算することです。
ただし、中程度のサイズの評価データセットであっても、交差サブグループを考慮するとサンプル サイズはすぐに小さくなり、多くの細分化された評価で交差グループが考慮される範囲が大幅に制限されます。
この研究では、細分化された評価に対する構造化回帰アプローチを導入し、非常に小さなサブグループであっても信頼性の高いシステム パフォーマンス推定値を生成できることを実証します。
また、信頼区間を構築するための対応する推論戦略も提供し、適合度テストが交差グループが経験する公平性に関連した害悪の構造への洞察をどのように得ることができるかを探ります。
私たちは、公開されている 2 つのデータセットと半合成データのいくつかのバリアントに基づいてアプローチを評価します。
結果は、特に小さなサブグループの場合、私たちの方法が標準的なアプローチよりもかなり正確であること、および適合度テストがパフォーマンスの違いを引き起こす主要な要因を特定するのに役立つことを示しています。

要約(オリジナル)

Disaggregated evaluation is a central task in AI fairness assessment, with the goal to measure an AI system’s performance across different subgroups defined by combinations of demographic or other sensitive attributes. The standard approach is to stratify the evaluation data across subgroups and compute performance metrics separately for each group. However, even for moderately-sized evaluation datasets, sample sizes quickly get small once considering intersectional subgroups, which greatly limits the extent to which intersectional groups are considered in many disaggregated evaluations. In this work, we introduce a structured regression approach to disaggregated evaluation that we demonstrate can yield reliable system performance estimates even for very small subgroups. We also provide corresponding inference strategies for constructing confidence intervals and explore how goodness-of-fit testing can yield insight into the structure of fairness-related harms experienced by intersectional groups. We evaluate our approach on two publicly available datasets, and several variants of semi-synthetic data. The results show that our method is considerably more accurate than the standard approach, especially for small subgroups, and goodness-of-fit testing helps identify the key factors that drive differences in performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google