Fairness Certification for Natural Language Processing and Large Language Models

要約

自然言語処理 (NLP) は、特に大規模言語モデル (LLM) の大幅な進歩により、私たちの日常生活において重要な役割を果たしています。
ただし、NLP には、採用におけるエキスパート システムや教育における LLM ベースの家庭教師など、公平性が重要なユースケースが数多くあります。
NLP は人間の言語に基づいているため、潜在的に有害なバイアスが NLP システムに拡散し、不公平な結果を生み出したり、少数派を差別したり、法的問題を引き起こしたりする可能性があります。
したがって、NLP アプローチの公平性認証を開発することが重要です。
私たちは、NLP の公平性認証に向けて定性的調査アプローチに従います。
特に、私たちはアルゴリズムの公平性に関する大量の文献を検討し、その分野の幅広い専門家との半構造化された専門家インタビューを実施しました。
私たちは NLP の 6 つの公平性基準を体系的に考案しました。これらはさらに 18 のサブカテゴリに細分化できます。
当社の基準は、監査人および監査対象組織の両方の観点から、公平性を証明するためのプロセスを運用およびテストするための基盤を提供します。

要約(オリジナル)

Natural Language Processing (NLP) plays an important role in our daily lives, particularly due to the enormous progress of Large Language Models (LLM). However, NLP has many fairness-critical use cases, e.g., as an expert system in recruitment or as an LLM-based tutor in education. Since NLP is based on human language, potentially harmful biases can diffuse into NLP systems and produce unfair results, discriminate against minorities or generate legal issues. Hence, it is important to develop a fairness certification for NLP approaches. We follow a qualitative research approach towards a fairness certification for NLP. In particular, we have reviewed a large body of literature on algorithmic fairness, and we have conducted semi-structured expert interviews with a wide range of experts from that area. We have systematically devised six fairness criteria for NLP, which can be further refined into 18 sub-categories. Our criteria offer a foundation for operationalizing and testing processes to certify fairness, both from the perspective of the auditor and the audited organization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google