Fairness Certification for Natural Language Processing and Large Language Models

要約

自然言語処理(NLP)は、特に大規模言語モデル(LLM)の大きな進歩により、我々の日常生活において重要な役割を果たしている。しかし、NLPは、例えば、人材採用におけるエキスパート・システムや、教育におけるLLMベースのチューターなど、公平性が重要視される多くのユースケースを持っている。NLPは人間の言語に基づいているため、潜在的に有害なバイアスがNLPシステムに拡散し、不公正な結果を生み出したり、マイノリティを差別したり、法的な問題を引き起こしたりする可能性がある。従って、NLPアプローチの公正性証明を開発することが重要である。私たちは、NLPの公正性認証に向けた質的研究アプローチに従っている。特に、アルゴリズムの公正さに関する膨大な文献をレビューし、その分野の幅広い専門家と半構造化専門家インタビューを行った。私たちは、NLPのための6つの公正基準を体系的に考案し、それをさらに18のサブカテゴリーに分類しました。私たちの基準は、監査人と被監査組織の両方の視点から、公正さを証明するプロセスを運用し、テストするための基盤を提供します。

要約(オリジナル)

Natural Language Processing (NLP) plays an important role in our daily lives, particularly due to the enormous progress of Large Language Models (LLM). However, NLP has many fairness-critical use cases, e.g., as an expert system in recruitment or as an LLM-based tutor in education. Since NLP is based on human language, potentially harmful biases can diffuse into NLP systems and produce unfair results, discriminate against minorities or generate legal issues. Hence, it is important to develop a fairness certification for NLP approaches. We follow a qualitative research approach towards a fairness certification for NLP. In particular, we have reviewed a large body of literature on algorithmic fairness, and we have conducted semi-structured expert interviews with a wide range of experts from that area. We have systematically devised six fairness criteria for NLP, which can be further refined into 18 sub-categories. Our criteria offer a foundation for operationalizing and testing processes to certify fairness, both from the perspective of the auditor and the audited organization.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL