Crowdsourcing Lexical Diversity

要約

オンライン辞書やワードネットなどの語彙意味リソース (LSR) は、自然言語処理アプリケーションの基礎です。
しかし、多くの言語では、そのようなリソースは、誤った入力や不完全さなどの品質の問題に悩まされているだけでなく、めったに取り上げられない英語やアングロサクソン文化に対する偏見の問題も抱えています。
このような偏見は、対象となる言語や文化に特有の概念が存在しないこと、外来 (アングロサクソン) の概念が存在すること、また、異言語 \emph とも呼ばれる翻訳不可能性の明示的な表示が欠如していることによって現れます。
{語彙のギャップ}、用語に相当するものが別の言語にない場合。
この論文では、LSR のバイアスを軽減するための新しいクラウドソーシング方法論を提案します。
クラウド ワーカーは、親族関係や食べ物など、語彙の多様性に富んだ領域に焦点を当てて、2 つの言語の語彙素を比較します。
当社の LingoGap クラウドソーシング ツールは、同等の用語、言語固有の用語、言語間での語彙のギャップを特定するマイクロタスクを通じて比較を容易にします。
私たちは、食品関連の用語に焦点を当てた 2 つのケーススタディにこの方法を適用して検証しました。(1) 英語とアラビア語、(2) 標準インドネシア語とバンジャル語。
これらの実験により、最初のケーススタディでは 2,140 個の語彙ギャップが特定され、2 番目のケーススタディでは 951 個の語彙ギャップが特定されました。
これらの実験の成功により、将来の大規模な辞書強化タスクに対する私たちの方法とツールの有用性が確認されました。

要約(オリジナル)

Lexical-semantic resources (LSRs), such as online lexicons or wordnets, are fundamental for natural language processing applications. In many languages, however, such resources suffer from quality issues: incorrect entries, incompleteness, but also, the rarely addressed issue of bias towards the English language and Anglo-Saxon culture. Such bias manifests itself in the absence of concepts specific to the language or culture at hand, the presence of foreign (Anglo-Saxon) concepts, as well as in the lack of an explicit indication of untranslatability, also known as cross-lingual \emph{lexical gaps}, when a term has no equivalent in another language. This paper proposes a novel crowdsourcing methodology for reducing bias in LSRs. Crowd workers compare lexemes from two languages, focusing on domains rich in lexical diversity, such as kinship or food. Our LingoGap crowdsourcing tool facilitates comparisons through microtasks identifying equivalent terms, language-specific terms, and lexical gaps across languages. We validated our method by applying it to two case studies focused on food-related terminology: (1) English and Arabic, and (2) Standard Indonesian and Banjarese. These experiments identified 2,140 lexical gaps in the first case study and 951 in the second. The success of these experiments confirmed the usability of our method and tool for future large-scale lexicon enrichment tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google