A structured regression approach for evaluating model performance across intersectional subgroups

要約

細分化された評価は AI 公平性評価の中心的なタスクであり、その目標は、人口統計やその他の機密属性の組み合わせによって定義されるさまざまなサブグループ全体で AI システムのパフォーマンスを測定することです。
標準的なアプローチは、サブグループ全体で評価データを層別化し、各グループのパフォーマンス指標を個別に計算することです。
ただし、中程度のサイズの評価データセットであっても、交差サブグループを考慮するとサンプル サイズはすぐに小さくなり、解析に含まれる交差グループの範囲が大幅に制限されます。
この研究では、細分化された評価に対する構造化回帰アプローチを導入し、非常に小さなサブグループであっても信頼性の高いシステム パフォーマンス推定値を生成できることを実証します。
私たちは、信頼区間を構築するための対応する推論戦略を提供し、適合度テストが交差グループが経験する公平性に関連した害の構造への洞察をどのように得ることができるかを探ります。
私たちは、公開されている 2 つのデータセットと半合成データのいくつかのバリアントに基づいてアプローチを評価します。
結果は、特に小さなサブグループに対して、私たちの方法が標準的なアプローチよりもかなり正確であることを示し、適合度テストがパフォーマンスの違いを引き起こす主要な要因を特定するのにどのように役立つかを示しています。

要約(オリジナル)

Disaggregated evaluation is a central task in AI fairness assessment, where the goal is to measure an AI system’s performance across different subgroups defined by combinations of demographic or other sensitive attributes. The standard approach is to stratify the evaluation data across subgroups and compute performance metrics separately for each group. However, even for moderately-sized evaluation datasets, sample sizes quickly get small once considering intersectional subgroups, which greatly limits the extent to which intersectional groups are included in analysis. In this work, we introduce a structured regression approach to disaggregated evaluation that we demonstrate can yield reliable system performance estimates even for very small subgroups. We provide corresponding inference strategies for constructing confidence intervals and explore how goodness-of-fit testing can yield insight into the structure of fairness-related harms experienced by intersectional groups. We evaluate our approach on two publicly available datasets, and several variants of semi-synthetic data. The results show that our method is considerably more accurate than the standard approach, especially for small subgroups, and demonstrate how goodness-of-fit testing helps identify the key factors that drive differences in performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google