TIDE: Textual Identity Detection for Evaluating and Augmenting Classification and Language Models

要約

機械学習モデルは、不公平で不均衡なデータセットによる意図しないバイアスを永続させる可能性があります。
これらのデータセットとモデルの評価と偏りの解消は、人種、性別、性的指向などの機密属性が利用できない可能性があるテキスト データセットでは特に困難です。
これらのモデルが社会に導入されると、歴史的に過小評価されてきたグループにとって不公平な結果につながる可能性があります。
この論文では、分類器と言語モデルにおけるテキストの公平性を改善するアプローチと組み合わせたデータセットを紹介します。
私たちは、より包括的な新しいアイデンティティ語彙集 TIDAL を作成しました。これには、3 つの人口統計カテゴリーにわたる 15,123 のアイデンティティ用語と関連する意味コンテキストが含まれています。
私たちは TIDAL を活用して、アイデンティティ コンテキストの可用性と ML 公平性手法の有効性を向上させるために使用できるアイデンティティ アノテーションおよび拡張ツールを開発します。
私たちは人間の貢献者を使用してアプローチを評価し、さらにデータセットとモデルのバイアス軽減に焦点を当てた実験を実行します。
結果は、私たちの支援アノテーション技術が人間参加型プロセスの信頼性と速度を向上させることを示しています。
私たちのデータセットと手法は、評価中により多くの差異を明らかにし、修復中により公平なモデルも生成します。
これらのアプローチは、現実世界の設定で分類子と生成モデルの公平性をスケーリングするための実用的な道筋を提供します。

要約(オリジナル)

Machine learning models can perpetuate unintended biases from unfair and imbalanced datasets. Evaluating and debiasing these datasets and models is especially hard in text datasets where sensitive attributes such as race, gender, and sexual orientation may not be available. When these models are deployed into society, they can lead to unfair outcomes for historically underrepresented groups. In this paper, we present a dataset coupled with an approach to improve text fairness in classifiers and language models. We create a new, more comprehensive identity lexicon, TIDAL, which includes 15,123 identity terms and associated sense context across three demographic categories. We leverage TIDAL to develop an identity annotation and augmentation tool that can be used to improve the availability of identity context and the effectiveness of ML fairness techniques. We evaluate our approaches using human contributors, and additionally run experiments focused on dataset and model debiasing. Results show our assistive annotation technique improves the reliability and velocity of human-in-the-loop processes. Our dataset and methods uncover more disparities during evaluation, and also produce more fair models during remediation. These approaches provide a practical path forward for scaling classifier and generative model fairness in real-world settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google