Quantitative Auditing of AI Fairness with Differentially Private Synthetic Data

要約

AIシステムの公平性監査は、バイアスを特定して定量化できます。
ただし、実際のデータを使用した従来の監査は、セキュリティとプライバシーの懸念を引き起こします。
監査人は、敏感な情報の管理者になり、サイバー攻撃のターゲットになるため、セキュリティリスクにさらされます。
データ分析は機密情報を誤って公開する可能性があるため、直接的な違反がなくてもプライバシーリスクが生じます。
これらに対処するために、差別的にプライベートな合成データを活用してAIシステムの公平性を監査するフレームワークを提案します。
プライバシーを提供するメカニズムを適用することにより、プライバシーを確​​保しながら元のデータセットの統計的特性を反映する合成データを生成します。
この方法は、厳密な公平性監査と強力なプライバシー保護の必要性の目標のバランスをとります。
大人、容赦、糖尿病などの実際のデータセットでの実験を通じて、合成データと実際のデータの公平性メトリックを比較します。
これらのメトリック間のアラインメントと矛盾を分析することにより、合成データの能力を評価して、実際のデータの公平性の特性を維持します。
我々の結果は、敏感な情報を保護し、重要かつデリケートなドメイン全体で適用可能性を証明しながら、意味のある公平性評価を可能にするフレームワークの能力を示しています。

要約(オリジナル)

Fairness auditing of AI systems can identify and quantify biases. However, traditional auditing using real-world data raises security and privacy concerns. It exposes auditors to security risks as they become custodians of sensitive information and targets for cyberattacks. Privacy risks arise even without direct breaches, as data analyses can inadvertently expose confidential information. To address these, we propose a framework that leverages differentially private synthetic data to audit the fairness of AI systems. By applying privacy-preserving mechanisms, it generates synthetic data that mirrors the statistical properties of the original dataset while ensuring privacy. This method balances the goal of rigorous fairness auditing and the need for strong privacy protections. Through experiments on real datasets like Adult, COMPAS, and Diabetes, we compare fairness metrics of synthetic and real data. By analyzing the alignment and discrepancies between these metrics, we assess the capacity of synthetic data to preserve the fairness properties of real data. Our results demonstrate the framework’s ability to enable meaningful fairness evaluations while safeguarding sensitive information, proving its applicability across critical and sensitive domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google