Fairness Auditing with Multi-Agent Collaboration

要約

公平性監査における既存の作業は、各監査が独立して実行されることを前提としています。
このペーパーでは、複数のエージェントが連携して動作し、それぞれが同じプラットフォームの異なるタスクを監査することを検討します。
エージェントには 2 つの手段があります。1 つは事前の調整の有無によるコラボレーション戦略、もう 1 つは適切なデータ ポイントをサンプリングする戦略です。
これらのレバーの相互作用を理論的に比較します。
私たちの主な発見は、(i) 一般にコラボレーションは正確な監査に有益であること、(ii) 基本的なサンプリング方法が効果的であることが証明されることが多いこと、(iii) 直観に反して、クエリに対する広範な調整はエージェントの数が増加するにつれて監査の精度を低下させることが多いことです。
。
3 つの大規模なデータセットでの実験により、理論的な結果が確認されました。
私たちの調査結果は、意思決定に ML モデルを使用するプラットフォームの公平性監査中のコラボレーションの動機付けになります。

要約(オリジナル)

Existing work in fairness auditing assumes that each audit is performed independently. In this paper, we consider multiple agents working together, each auditing the same platform for different tasks. Agents have two levers: their collaboration strategy, with or without coordination beforehand, and their strategy for sampling appropriate data points. We theoretically compare the interplay of these levers. Our main findings are that (i) collaboration is generally beneficial for accurate audits, (ii) basic sampling methods often prove to be effective, and (iii) counter-intuitively, extensive coordination on queries often deteriorates audits accuracy as the number of agents increases. Experiments on three large datasets confirm our theoretical results. Our findings motivate collaboration during fairness audits of platforms that use ML models for decision-making.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google