NeuFair: Neural Network Fairness Repair with Dropout

要約

この論文では、ディープ ニューラル ネットワーク (DNN) の後処理バイアス軽減策としてのニューロン ドロップアウトについて調査します。
ニューラル駆動のソフトウェア ソリューションは、公平性に重大な影響を与える社会的に重要な領域でますます適用されています。
ニューラル ネットワークはデータから統計パターンを見つけることに非常に優れていますが、履歴データから既存のバイアスをエンコードして増幅する可能性があります。
既存のバイアス緩和アルゴリズムでは、多くの場合、入力データセットまたは学習アルゴリズムの変更が必要になります。
私たちは、ニューロンをランダムにドロップすることでトレーニング中の過剰適合を防ぐ一般的なドロップアウト手法が、事前トレーニング済み DNN の公平性を向上させるための効果的で煩わしくないアプローチである可能性があると仮定しています。
ただし、ドロップする理想的なニューロンのセットを見つけるのは組み合わせの問題です。
我々は、トレーニング後の推論中のドロップアウトによる事前トレーニング済み DNN の不公平性を軽減する後処理ランダム化アルゴリズムのファミリーである NeuFair を提案します。
私たちのランダム化検索は、モデルの有用性を維持しながら差別を最小限に抑えるという目的に基づいています。
ランダム化アルゴリズムの設計が、モデルのパフォーマンスの低下を最小限に抑えながら (最大 69%) 公平性を向上させるのに効果的かつ効率的であることを示します。
これらの現象を直感的に説明し、検索アルゴリズムのさまざまなハイパーパラメータが結果に与える影響を注意深く調べます。
最後に、NeuFair をさまざまな最先端のバイアス緩和手段と経験的かつ概念的に比較します。

要約(オリジナル)

This paper investigates neuron dropout as a post-processing bias mitigation for deep neural networks (DNNs). Neural-driven software solutions are increasingly applied in socially critical domains with significant fairness implications. While neural networks are exceptionally good at finding statistical patterns from data, they may encode and amplify existing biases from the historical data. Existing bias mitigation algorithms often require modifying the input dataset or the learning algorithms. We posit that the prevalent dropout methods that prevent over-fitting during training by randomly dropping neurons may be an effective and less intrusive approach to improve the fairness of pre-trained DNNs. However, finding the ideal set of neurons to drop is a combinatorial problem. We propose NeuFair, a family of post-processing randomized algorithms that mitigate unfairness in pre-trained DNNs via dropouts during inference after training. Our randomized search is guided by an objective to minimize discrimination while maintaining the model’s utility. We show that our design of randomized algorithms is effective and efficient in improving fairness (up to 69%) with minimal or no model performance degradation. We provide intuitive explanations of these phenomena and carefully examine the influence of various hyperparameters of search algorithms on the results. Finally, we empirically and conceptually compare NeuFair to different state-of-the-art bias mitigators.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google