Information-Theoretic Bounds on The Removal of Attribute-Specific Bias From Neural Networks

要約

ニューラル ネットワークが予測のために保護された属性 (人種、性別、年齢など) に依存していないことを確認することは、公平で信頼できる AI を進化させる上で非常に重要です。
ニューラル ネットワークの属性バイアスを除去するための有望な方法がいくつか提案されていますが、その限界はまだ調査されていません。
この研究では、強いバイアスが存在する場合の属性バイアス除去方法の重要な制限を数学的および経験的に明らかにします。
具体的には、バイアス強度の観点から、属性バイアス除去方法のパフォーマンスに関する一般的な非空の情報理論上の上限を導き出します。
理論上の限界と実際の結果を検証するために、合成データセット、画像データセット、国勢調査データセットに関する広範な実験を提供します。
私たちの調査結果は、既存の属性バイアス除去手法が、データセット内に固有のバイアスが比較的弱い場合にのみ有効であることを示しており、したがって、強い属性バイアスが発生する可能性がある小規模なデータセットでこれらの手法を使用することに警告し、それを克服できる手法の必要性を主張しています。
この制限。

要約(オリジナル)

Ensuring a neural network is not relying on protected attributes (e.g., race, sex, age) for predictions is crucial in advancing fair and trustworthy AI. While several promising methods for removing attribute bias in neural networks have been proposed, their limitations remain under-explored. In this work, we mathematically and empirically reveal an important limitation of attribute bias removal methods in presence of strong bias. Specifically, we derive a general non-vacuous information-theoretical upper bound on the performance of any attribute bias removal method in terms of the bias strength. We provide extensive experiments on synthetic, image, and census datasets to verify the theoretical bound and its consequences in practice. Our findings show that existing attribute bias removal methods are effective only when the inherent bias in the dataset is relatively weak, thus cautioning against the use of these methods in smaller datasets where strong attribute bias can occur, and advocating the need for methods that can overcome this limitation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google