Fairness of Deep Ensembles: On the interplay between per-group task difficulty and under-representation

要約

アンサンブルは一般に、機械学習におけるモデルの一般的なパフォーマンスを改善する効果的な方法と見なされ、予測の堅牢性を高めます。
アルゴリズムの公平性に関しては、複数のモデルタイプで構成される不均一なアンサンブルが、性別、年齢、民族などの人口統計属性の観点からバイアスを軽減するために採用されています。
さらに、最近の研究では、マルチクラスの問題でも、単純な均質なアンサンブルでさえ、パフォーマンスの最悪のターゲットクラスのパフォーマンスを支持する方法が示されています。
均質なアンサンブルは実際に実装するのが簡単ですが、その利点がターゲットクラスではなく、人口統計学的または保護された属性の観点から定義されたグループにつながるかどうかはまだ明らかではありません。
この作業では、このシンプルで簡単な方法が実際に格差を軽減できる方法を示し、特にパフォーマンスの低いサブグループに利益をもたらします。
興味深いことに、これは全体的なパフォーマンスを犠牲にすることなく達成できます。これは、バイアス緩和戦略で観察される一般的なトレードオフです。
さらに、バイアスをもたらす可能性のある2つの要因間の相互作用を分析しました。サブグループの過小表現と各グループのタスクの固有の難易度です。
これらの結果は、一般的な仮定に反して、サブグループ間でタスクの難易度が異なる場合、バランスの取れたデータセットを持つことが最適ではないことを明らかにしました。
実際、完全にバランスの取れたデータセットは、全体的なパフォーマンスとグループ間のギャップの両方を損なう可能性があることがわかりました。
これは、公平に遊んでいる複数の力の間の相互作用を考慮することの重要性を強調しています。

要約(オリジナル)

Ensembling is commonly regarded as an effective way to improve the general performance of models in machine learning, while also increasing the robustness of predictions. When it comes to algorithmic fairness, heterogeneous ensembles, composed of multiple model types, have been employed to mitigate biases in terms of demographic attributes such as sex, age or ethnicity. Moreover, recent work has shown how in multi-class problems even simple homogeneous ensembles may favor performance of the worst-performing target classes. While homogeneous ensembles are simpler to implement in practice, it is not yet clear whether their benefits translate to groups defined not in terms of their target class, but in terms of demographic or protected attributes, hence improving fairness. In this work we show how this simple and straightforward method is indeed able to mitigate disparities, particularly benefiting under-performing subgroups. Interestingly, this can be achieved without sacrificing overall performance, which is a common trade-off observed in bias mitigation strategies. Moreover, we analyzed the interplay between two factors which may result in biases: sub-group under-representation and the inherent difficulty of the task for each group. These results revealed that, contrary to popular assumptions, having balanced datasets may be suboptimal if the task difficulty varies between subgroups. Indeed, we found that a perfectly balanced dataset may hurt both the overall performance and the gap between groups. This highlights the importance of considering the interaction between multiple forces at play in fairness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google