Towards Bridging the Digital Language Divide

要約

現在の AI ベースの言語テクノロジー (言語モデル、機械翻訳システム、多言語辞書、コーパス) は、世界で最も広く話されている言語の 2 ～ 3% に焦点を当てていることは周知の事実です。
最近の研究活動では、AI テクノロジーの対象範囲を「リソースが不足している言語」に拡大しようとしています。
私たちの論文の目的は、言語バイアスと呼ばれる現象に注意を向けることです。つまり、多言語言語処理システムは、特定の言語に対して、固定的ではあるものの、通常は非自発的で隠された表現上の好みを示すことがよくあります。
言語の偏りは、同様のテスト条件の場合でも、言語ごとのパフォーマンスが不均一になるという形で現れます。
私たちは、偏ったテクノロジーは、表現される言語の複雑さを十分に考慮していない研究開発方法論の結果であることが多く、言語のニーズだけでなく多様性の貴重な側面を無視するため、倫理的に問題になる可能性さえあることを示します。
コミュニティそのもの。
多様性を意識した言語リソースを構築する試みとして、私たちは、地域コミュニティとの目線での協力に基づいた、技術設計と方法論の両方を通じて言語の偏りを軽減することを目的とした新しい取り組みを紹介します。

要約(オリジナル)

It is a well-known fact that current AI-based language technology — language models, machine translation systems, multilingual dictionaries and corpora — focuses on the world’s 2-3% most widely spoken languages. Recent research efforts have attempted to expand the coverage of AI technology to `under-resourced languages.’ The goal of our paper is to bring attention to a phenomenon that we call linguistic bias: multilingual language processing systems often exhibit a hardwired, yet usually involuntary and hidden representational preference towards certain languages. Linguistic bias is manifested in uneven per-language performance even in the case of similar test conditions. We show that biased technology is often the result of research and development methodologies that do not do justice to the complexity of the languages being represented, and that can even become ethically problematic as they disregard valuable aspects of diversity as well as the needs of the language communities themselves. As our attempt at building diversity-aware language resources, we present a new initiative that aims at reducing linguistic bias through both technological design and methodology, based on an eye-level collaboration with local communities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google