NeuFair: Neural Network Fairness Repair with Dropout

要約

本稿では、ディープニューラルネットワーク（DNN）の処理後のバイアス緩和としてのニューロン・ドロップアウトについて検討する。ニューラル・ドリブン・ソフトウェア・ソリューションは、社会的に重要な領域で適用されることが多くなってきており、公平性が重要な意味を持っている。ニューラルネットワークはデータから統計的パターンを見つけることに非常に優れていますが、過去のデータから既存のバイアスを符号化し増幅する可能性があります。既存のバイアス緩和アルゴリズムは、多くの場合、入力データセットや学習アルゴリズムを修正する必要がある。我々は、ニューロンをランダムにドロップアウトすることで、学習中のオーバーフィッティングを防ぐ、一般的なドロップアウト手法が、事前学習済みDNNの公平性を改善するための、効果的で侵入の少ないアプローチになる可能性があると仮定する。しかし、脱落させるニューロンの理想的な集合を見つけることは組み合わせ論的な問題である。我々はNeuFairを提案する。NeuFairは、訓練後の推論中に脱落させることで、事前訓練されたDNNの不公正性を緩和する後処理ランダム化アルゴリズムのファミリーである。我々のランダム化探索は、モデルの効用を維持しながら識別を最小化する目的によって導かれる。我々は、我々の設計したランダム化アルゴリズムが、モデルの性能劣化を最小限あるいは全く伴わずに、公平性を改善するのに有効かつ効率的（最大69％）であることを示す。これらの現象について直観的な説明を行い、探索アルゴリズムの様々なハイパーパラメータが結果に与える影響を注意深く検証する。最後に、NeuFairと様々な最先端のバイアス緩和剤を実証的かつ概念的に比較する。

要約(オリジナル)

This paper investigates neuron dropout as a post-processing bias mitigation for deep neural networks (DNNs). Neural-driven software solutions are increasingly applied in socially critical domains with significant fairness implications. While neural networks are exceptionally good at finding statistical patterns from data, they may encode and amplify existing biases from the historical data. Existing bias mitigation algorithms often require modifying the input dataset or the learning algorithms. We posit that the prevalent dropout methods that prevent over-fitting during training by randomly dropping neurons may be an effective and less intrusive approach to improve the fairness of pre-trained DNNs. However, finding the ideal set of neurons to drop is a combinatorial problem. We propose NeuFair, a family of post-processing randomized algorithms that mitigate unfairness in pre-trained DNNs via dropouts during inference after training. Our randomized search is guided by an objective to minimize discrimination while maintaining the model’s utility. We show that our design of randomized algorithms is effective and efficient in improving fairness (up to 69%) with minimal or no model performance degradation. We provide intuitive explanations of these phenomena and carefully examine the influence of various hyperparameters of search algorithms on the results. Finally, we empirically and conceptually compare NeuFair to different state-of-the-art bias mitigators.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL