What is ‘Typological Diversity’ in NLP?

要約

NLP 研究コミュニティは、英語以外の言語にもますます注目を集めており、その結果、多言語 NLP は大幅に改善されました。
ただし、これらの改善は世界の言語のごく一部にのみ適用されます。
これを拡張することを目指して、言語を超えて一般化可能な多言語パフォーマンスの向上を目指す論文が増えています。
この目的のために、広範な類型サンプルが広範囲の言語にわたる一般化を意味するはずであるという考えに基づいて、言語類型論が言語選択の動機付けに一般的に使用されます。
これらの選択は、「類型的に多様である」とよく言われます。
この研究では、「類型的多様性」に関する主張を含む NLP 研究を体系的に調査します。
このような主張には明確な定義や基準が存在しないことがわかりました。
いくつかの軸に沿って言語選択の多様性を近似するための指標を導入したところ、結果は論文によって大きく異なることがわかりました。
重要なのは、偏った言語選択が多言語パフォーマンスの過大評価につながる可能性があることを示しています。
今後の作業には、言語サンプルの多様性を経験的に正当化する「類型的多様性」の運用化を含めることをお勧めします。

要約(オリジナル)

The NLP research community has devoted increased attention to languages beyond English, resulting in considerable improvements for multilingual NLP. However, these improvements only apply to a small subset of the world’s languages. Aiming to extend this, an increasing number of papers aspires to enhance generalizable multilingual performance across languages. To this end, linguistic typology is commonly used to motivate language selection, on the basis that a broad typological sample ought to imply generalization across a broad range of languages. These selections are often described as being ‘typologically diverse’. In this work, we systematically investigate NLP research that includes claims regarding ‘typological diversity’. We find there are no set definitions or criteria for such claims. We introduce metrics to approximate the diversity of language selection along several axes and find that the results vary considerably across papers. Crucially, we show that skewed language selection can lead to overestimated multilingual performance. We recommend future work to include an operationalization of ‘typological diversity’ that empirically justifies the diversity of language samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google