A methodology to characterize bias and harmful stereotypes in natural language processing in Latin America

要約

自動化された意思決定システム、特に自然言語処理に基づくシステムは、私たちの生活に浸透しています。
彼らは、私たちが毎日使用するインターネット検索エンジンの背後にいるだけでなく、求職者の選択、犯罪の容疑者の特定、自閉症の診断など、より重要な役割も担っています。
そのような自動化されたシステムはエラーを起こしますが、それは結果の深刻さ (健康問題など) や、影響を受ける膨大な数の人々のために、多くの点で有害である可能性があります.
自動化されたシステムによって行われたエラーが、他のシステムよりも母集団に大きな影響を与える場合、そのシステムを \textit{biased} と呼びます。
最新の自然言語技術のほとんどは、機械学習を使用して膨大な量のテキストから取得したアーティファクト、つまり言語モデルと単語の埋め込みに基づいています。
サブシンボリック機械学習 (主に人工ニューラル ネットワーク) を適用して作成されているため、不透明であり、直接検査しても実質的に解釈できないため、監査が非常に困難です。
この論文では、社会科学者、分野の専門家、機械学習の専門家が、単語の埋め込みや大規模な言語モデルにおける偏見や有害なステレオタイプを共同で調査する方法を詳しく説明する方法論を提示します。
私たちの方法論は、次の原則に基づいています: * モデルの数学的特性ではなく、単語の埋め込みと言語モデルに対する差別の言語的表現に焦点を当てる * 社会科学者、ドメインの専門家、または
その他 * メトリクスベースのアプローチに加えて、定性的な探索的プロセスを通じて特徴付けます * 後付けとしてではなく、トレーニングプロセスの一部として緩和に対処します

要約(オリジナル)

Automated decision-making systems, especially those based on natural language processing, are pervasive in our lives. They are not only behind the internet search engines we use daily, but also take more critical roles: selecting candidates for a job, determining suspects of a crime, diagnosing autism and more. Such automated systems make errors, which may be harmful in many ways, be it because of the severity of the consequences (as in health issues) or because of the sheer number of people they affect. When errors made by an automated system affect a population more than others, we call the system \textit{biased}. Most modern natural language technologies are based on artifacts obtained from enormous volumes of text using machine learning, namely language models and word embeddings. Since they are created by applying subsymbolic machine learning, mostly artificial neural networks, they are opaque and practically uninterpretable by direct inspection, thus making it very difficult to audit them. In this paper, we present a methodology that spells out how social scientists, domain experts, and machine learning experts can collaboratively explore biases and harmful stereotypes in word embeddings and large language models. Our methodology is based on the following principles: * focus on the linguistic manifestations of discrimination on word embeddings and language models, not on the mathematical properties of the models * reduce the technical barrier for discrimination experts%, be it social scientists, domain experts or other * characterize through a qualitative exploratory process in addition to a metric-based approach * address mitigation as part of the training process, not as an afterthought

arxiv情報

提供元, 利用サービス

arxiv.jp, Google