A Systematic Study of Performance Disparities in Multilingual Task-Oriented Dialogue Systems

要約

世界中の多くの言語で適切に機能する堅牢な言語テクノロジを実現することが、多言語 NLP の中心的な目標です。
この研究では、多言語タスク指向対話 (ToD) システム間に存在するタスクパフォ​​ーマンスの差異を調査し、実証的に分析します。
まず、システムパフォーマンスの絶対的および相対的同等性を示す新しい定量的尺度を定義し、言語間および個々の言語内の差異を把握します。
一連の制御された実験を通じて、パフォーマンスの差異が多くの要因 (当面の ToD タスクの性質、基礎となる事前トレーニング済み言語モデル、ターゲット言語、ToD 注釈付きデータの量) に依存することを実証しました。
現在の ToD システムには適応と固有のバイアスが存在することを経験的に証明しています。たとえば、英語の ToD データと完全に並行して注釈付き ToD データを使用してアラビア語またはトルコ語用にトレーニングされた ToD システムは、依然として ToD タスクのパフォーマンスの低下を示しています。
私たちの分析は、さまざまな言語での ToD システムのパフォーマンスの違いに関する一連の洞察を提供するだけでなく、新しい言語の ToD データ収集とシステム開発にどのようにアプローチするかについて実践的なヒントを提供します。

要約(オリジナル)

Achieving robust language technologies that can perform well across the world’s many languages is a central goal of multilingual NLP. In this work, we take stock of and empirically analyse task performance disparities that exist between multilingual task-oriented dialogue (ToD) systems. We first define new quantitative measures of absolute and relative equivalence in system performance, capturing disparities across languages and within individual languages. Through a series of controlled experiments, we demonstrate that performance disparities depend on a number of factors: the nature of the ToD task at hand, the underlying pretrained language model, the target language, and the amount of ToD annotated data. We empirically prove the existence of the adaptation and intrinsic biases in current ToD systems: e.g., ToD systems trained for Arabic or Turkish using annotated ToD data fully parallel to English ToD data still exhibit diminished ToD task performance. Beyond providing a series of insights into the performance disparities of ToD systems in different languages, our analyses offer practical tips on how to approach ToD data collection and system development for new languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google