Undesirable biases in NLP: Averting a crisis of measurement

要約

大規模言語モデルと自然言語処理 (NLP) テクノロジーが急速に発展し、日常生活に浸透するにつれて、その使用が人々にどのような害を及ぼす可能性があるかを予測することが重要になっています。
近年多くの注目を集めている問題の 1 つは、このテクノロジーがその動作に有害なバイアスを示していることです。
これらのバイアスを評価し軽減するために多大な努力が費やされてきましたが、NLP モデルのバイアスを測定する私たちの方法には重大な問題があります (たとえば、実際に何を測定するのかが不明瞭であることが多い)。
この論文では、直接観察できないバイアスなどの概念の測定に特化した分野である心理測定のレンズを採用することで、NLP モデルのバイアスの問題を議論するための学際的なアプローチを提供します。
特に、心理測定学の 2 つの中心的な概念である構成の妥当性と測定ツールの信頼性を検討し、モデルのバイアスを測定するという文脈でそれらをどのように適用できるかについて説明します。
私たちの目標は、NLP 実践者に、より良いバイアス測定を設計するための方法論的なツールを提供し、バイアス測定ツールに取り組む際に心理測定のツールをより一般的に検討するよう促すことです。

要約(オリジナル)

As Large Language Models and Natural Language Processing (NLP) technology rapidly develops and spreads into daily life, it becomes crucial to anticipate how its use could harm people. One problem that has received a lot of attention in recent years is that this technology has displayed harmful biases in its behavior. Although a lot of effort has been invested in assessing and mitigating these biases, our methods of measuring the biases of NLP models have serious problems (e.g., it is often unclear what they actually measure). In this paper, we provide an interdisciplinary approach to discussing the issue of NLP model bias by adopting the lens of psychometrics — a field specialized in the measurement of concepts like bias that are not directly observable. In particular, we will explore two central notions from psychometrics, the construct validity and the reliability of measurement tools, and discuss how they can be applied in the context of measuring model bias. Our goal is to provide NLP practitioners with methodological tools for designing better bias measures, and to inspire them more generally to explore tools from psychometrics when working on bias measurement tools.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google