Towards Effective Discrimination Testing for Generative AI

要約

生成 AI (GenAI) モデルは、差別的行為を規制する際に新たな課題をもたらします。
この論文では、GenAI の公平性研究はまだこれらの課題を解決できていないと主張します。
むしろ、既存のバイアス評価手法と規制目標との間には大きなギャップが残っています。
これは非効果的な規制につながり、公平であるとされているにもかかわらず、実際には差別的な GenAI システムの導入を可能にする可能性があります。
この問題の解決に向けて、GenAI のバイアス評価に関する法的文献と技術的文献を結びつけ、不整合な領域を特定します。
4 つのケーススタディを通じて、公平性テスト手法と規制目標の間のこの不整合が、現実世界の展開、特に適応環境や複雑な環境においてどのように差別的な結果をもたらす可能性があるかを示します。
私たちは、規制目標との整合性を高め、将来の展開における公平性評価の信頼性を高めるために、差別テストを改善するための実践的な推奨事項を提供します。

要約(オリジナル)

Generative AI (GenAI) models present new challenges in regulating against discriminatory behavior. In this paper, we argue that GenAI fairness research still has not met these challenges; instead, a significant gap remains between existing bias assessment methods and regulatory goals. This leads to ineffective regulation that can allow deployment of reportedly fair, yet actually discriminatory, GenAI systems. Towards remedying this problem, we connect the legal and technical literature around GenAI bias evaluation and identify areas of misalignment. Through four case studies, we demonstrate how this misalignment between fairness testing techniques and regulatory goals can result in discriminatory outcomes in real-world deployments, especially in adaptive or complex environments. We offer practical recommendations for improving discrimination testing to better align with regulatory goals and enhance the reliability of fairness assessments in future deployments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google