Evaluation of Geographical Distortions in Language Models: A Crucial Step Towards Equitable Representations

要約

言語モデルは現在、執筆、コーディング、学習などの多くの専門的タスクの効率を向上させるための不可欠なツールを構成しています。
このため、固有のバイアスを特定することが不可欠です。
自然言語処理の分野では、データ、注釈、表現、モデル、研究デザインという 5 つのバイアスの原因が明確に特定されています。
この研究は、地理的知識に関連するバイアスに焦点を当てています。
私たちは、地理モデルと言語モデルが空間情報を誤って表現し、それによって地理的距離の表現に歪みが生じる傾向を強調することで、地理モデルと言語モデルの関係を調査します。
この研究では、地理的距離と意味的距離を比較することによって、これらの歪みを評価するための 4 つの指標を導入しています。
実験は、広く使用されている 10 個の言語モデルを使用して、これら 4 つの指標に基づいて実行されます。
この結果は、正確かつ公平な表現を保証するために、言語モデルの空間的偏りを検査して修正することが重要であることを強調しています。

要約(オリジナル)

Language models now constitute essential tools for improving efficiency for many professional tasks such as writing, coding, or learning. For this reason, it is imperative to identify inherent biases. In the field of Natural Language Processing, five sources of bias are well-identified: data, annotation, representation, models, and research design. This study focuses on biases related to geographical knowledge. We explore the connection between geography and language models by highlighting their tendency to misrepresent spatial information, thus leading to distortions in the representation of geographical distances. This study introduces four indicators to assess these distortions, by comparing geographical and semantic distances. Experiments are conducted from these four indicators with ten widely used language models. Results underscore the critical necessity of inspecting and rectifying spatial biases in language models to ensure accurate and equitable representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google