Fairness Evaluation in Text Classification: Machine Learning Practitioner Perspectives of Individual and Group Fairness

要約

アルゴリズムの偏りを軽減することは、機械学習モデルの開発と展開において重要なタスクです。
機械学習の実践者が公平性の問題に対処するのを支援するツールキットがいくつか存在しますが、モデルの公平性を評価するために実践者が採用する戦略や、特にテキスト分類のコンテキストで、その評価に影響を与える要因についてはほとんど知られていません。
モデルの公平性を評価する 2 つの一般的なアプローチは、グループの公平性と個人の公平性です。
モデルを評価するために使用される戦略を理解するために、機械学習の実践者 (n=24) を対象に調査を実施しました。
実践者に提示される指標 (グループ対個人の公平性) は、彼らがどのモデルを公平と見なすかに影響を与えます。
参加者は、過小予測/過大予測に関連するリスクと、ID トークンの操作に関連するモデルの感度に焦点を当てました。
個人的な経験や、モデルの公平性をテストするためにユーザーが ID トークンのグループを形成する方法を含む公平性評価戦略を発見します。
テキスト分類の公平性を評価するための対話型ツールの推奨事項を提供します。

要約(オリジナル)

Mitigating algorithmic bias is a critical task in the development and deployment of machine learning models. While several toolkits exist to aid machine learning practitioners in addressing fairness issues, little is known about the strategies practitioners employ to evaluate model fairness and what factors influence their assessment, particularly in the context of text classification. Two common approaches of evaluating the fairness of a model are group fairness and individual fairness. We run a study with Machine Learning practitioners (n=24) to understand the strategies used to evaluate models. Metrics presented to practitioners (group vs. individual fairness) impact which models they consider fair. Participants focused on risks associated with underpredicting/overpredicting and model sensitivity relative to identity token manipulations. We discover fairness assessment strategies involving personal experiences or how users form groups of identity tokens to test model fairness. We provide recommendations for interactive tools for evaluating fairness in text classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google