EARN Fairness: Explaining, Asking, Reviewing, and Negotiating Artificial Intelligence Fairness Metrics Among Stakeholders

要約

バイアスを定量的に測定し、AI モデルの公平性を定義するために、人工知能 (AI) の専門家によって多数の公平性指標が提案および採用されています。
利害関係者の多様な公平性の理解に対応する必要性を認識し、利害関係者の意見を求める取り組みが進行中です。
しかし、AI の専門知識を持たない関係者に AI の公平性の指標を伝え、彼らの個人的な好みを把握し、集団的な合意を求めることは依然として困難であり、十分に検討されていません。
このギャップを埋めるために、AI の専門知識を必要とせずに利害関係者間の集合的な指標決定を容易にする新しいフレームワーク EARN Fairness を提案します。
このフレームワークは、適応性のある対話型システムと、公平性メトリクスの説明、利害関係者の個人的なメトリクスの好みの質問、メトリクスの全体的なレビュー、メトリクスの選択に関する合意の交渉を行うための利害関係者中心の EARN Fairness プロセスを特徴としています。
実証結果を収集するために、このフレームワークを信用格付けシナリオに適用し、AI の知識を持たない 18 人の意思決定対象者を対象としたユーザー調査を実施しました。
私たちは、ユーザーの個人的な指標の好みと、個々のセッションにおける不公平の許容レベルを特定します。
続いて、チームセッションでどのようにして指標の合意に達したかを明らかにしました。
私たちの研究は、EARN Fairness フレームワークにより、利害関係者が個人的な好みを表明し、合意に達することを可能にし、リスクの高い状況で人間中心の AI 公平性を実装するための実践的なガイダンスを提供することを示しています。
このアプローチを通じて、私たちは多様な利害関係者の公平性への期待を調和させ、より公平で包括的な AI の公平性を促進することを目指しています。

要約(オリジナル)

Numerous fairness metrics have been proposed and employed by artificial intelligence (AI) experts to quantitatively measure bias and define fairness in AI models. Recognizing the need to accommodate stakeholders’ diverse fairness understandings, efforts are underway to solicit their input. However, conveying AI fairness metrics to stakeholders without AI expertise, capturing their personal preferences, and seeking a collective consensus remain challenging and underexplored. To bridge this gap, we propose a new framework, EARN Fairness, which facilitates collective metric decisions among stakeholders without requiring AI expertise. The framework features an adaptable interactive system and a stakeholder-centered EARN Fairness process to Explain fairness metrics, Ask stakeholders’ personal metric preferences, Review metrics collectively, and Negotiate a consensus on metric selection. To gather empirical results, we applied the framework to a credit rating scenario and conducted a user study involving 18 decision subjects without AI knowledge. We identify their personal metric preferences and their acceptable level of unfairness in individual sessions. Subsequently, we uncovered how they reached metric consensus in team sessions. Our work shows that the EARN Fairness framework enables stakeholders to express personal preferences and reach consensus, providing practical guidance for implementing human-centered AI fairness in high-risk contexts. Through this approach, we aim to harmonize fairness expectations of diverse stakeholders, fostering more equitable and inclusive AI fairness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google