The Disparate Benefits of Deep Ensembles

要約

ディープ ニューラル ネットワークのアンサンブルであるディープ アンサンブルは、予測パフォーマンスを向上させる簡単な方法として広く使用されています。
ただし、アルゴリズムの公平性に対するそれらの影響はまだよく理解されていません。
アルゴリズムの公平性は、通常は年齢、性別、人種などの保護された属性によって定義されるさまざまなグループ間でモデルのパフォーマンスがどのように変化するかを調査します。
この研究では、Deep Ensembles によるパフォーマンスの向上と公平性の間の相互作用を調査します。
私たちの分析では、「異種給付効果」と呼ばれる現象において、異なるグループが不均一に支持されていることが明らかになりました。
私たちは、保護されたグループ属性が与えられている一般的な顔分析や医療画像データセットにディープ アンサンブルを適用してこの効果を実証的に調査し、統計的パリティや機会均等など、確立された複数のグループ公平性指標でこの効果が発生することを発見しました。
さらに、アンサンブルメンバーの予測多様性におけるグループごとの違いが、異なる利益効果の潜在的な原因であることを特定しました。
最後に、不均衡な給付効果による不公平性を軽減するためのさまざまなアプローチを評価します。
私たちの調査結果は、後処理が Deep Ensembles の向上したパフォーマンスを維持しながら、この不公平性を軽減する効果的な方法であることを示しています。

要約(オリジナル)

Ensembles of Deep Neural Networks, Deep Ensembles, are widely used as a simple way to boost predictive performance. However, their impact on algorithmic fairness is not well understood yet. Algorithmic fairness investigates how a model’s performance varies across different groups, typically defined by protected attributes such as age, gender, or race. In this work, we investigate the interplay between the performance gains from Deep Ensembles and fairness. Our analysis reveals that they unevenly favor different groups in what we refer to as a disparate benefits effect. We empirically investigate this effect with Deep Ensembles applied to popular facial analysis and medical imaging datasets, where protected group attributes are given and find that it occurs for multiple established group fairness metrics, including statistical parity and equal opportunity. Furthermore, we identify the per-group difference in predictive diversity of ensemble members as the potential cause of the disparate benefits effect. Finally, we evaluate different approaches to reduce unfairness due to the disparate benefits effect. Our findings show that post-processing is an effective method to mitigate this unfairness while preserving the improved performance of Deep Ensembles.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google