Multi-VALUE: A Framework for Cross-Dialectal English NLP

要約

地域的、社会的、経済的要因によって引き起こされる方言の違いは、言語技術ユーザーの多くのグループにパフォーマンスの差異を引き起こします。
包括的かつ公平な言語技術は、方言が変化してもパフォーマンスが一定に保たれることを意味する、方言不変であることが重要です。
現在のシステムは、標準アメリカ英語 (SAE) という単一の方言で設計およびテストされているため、この理想に達していないことがよくあります。
英語の方言の不変性を評価し、達成するための一連のリソースを紹介します。
このリソースは Multi-VALUE と呼ばれ、50 の英語方言と 189 の独自の言語特徴にまたがる制御可能なルールベースの翻訳システムです。
MultiVALUE は、SAE を各方言の合成形式にマップします。
まず、このシステムを使用して、質問応答、機械翻訳、意味解析のストレス テストを行います。
ストレス テストにより、非標準言語における主要モデルのパフォーマンスに大きな差異があることが明らかになりました。
第二に、このシステムをデータ拡張技術として使用して、既存のシステムの方言の堅牢性を向上させます。
最後に、チカーノ英語とインド英語のネイティブ スピーカーと提携して、人気のある CoQA タスクの新しいゴールドスタンダード バリアントをリリースします。
変換コードを実行し、モデルのチェックポイントを実行し、合成およびゴールドスタンダードの両方の方言ベンチマーク データセットをダウンロードするには、http://value-nlp.org を参照してください。

要約(オリジナル)

Dialect differences caused by regional, social, and economic factors cause performance discrepancies for many groups of language technology users. Inclusive and equitable language technology must critically be dialect invariant, meaning that performance remains constant over dialectal shifts. Current systems often fall short of this ideal since they are designed and tested on a single dialect: Standard American English (SAE). We introduce a suite of resources for evaluating and achieving English dialect invariance. The resource is called Multi-VALUE, a controllable rule-based translation system spanning 50 English dialects and 189 unique linguistic features. Multi-VALUE maps SAE to synthetic forms of each dialect. First, we use this system to stress tests question answering, machine translation, and semantic parsing. Stress tests reveal significant performance disparities for leading models on non-standard dialects. Second, we use this system as a data augmentation technique to improve the dialect robustness of existing systems. Finally, we partner with native speakers of Chicano and Indian English to release new gold-standard variants of the popular CoQA task. To execute the transformation code, run model checkpoints, and download both synthetic and gold-standard dialectal benchmark datasets, see http://value-nlp.org.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google