mCSQA: Multilingual Commonsense Reasoning Dataset with Unified Creation Strategy by Language Models and Humans

要約

言語モデルの自然言語理解能力を評価するために、言語固有の知識と常識のデータセットを厳選することは非常に困難です。
アノテーターの利用可能性に制限があるため、現在の多言語データセットのほとんどは翻訳を通じて作成されており、このような言語固有の側面を評価することはできません。
したがって、CSQA の構築プロセスに基づいて、言語モデルを活用してより効率的な構築を行う Multilingual CommonsenseQA (mCSQA) を提案します。たとえば、LM に質問/回答の生成、回答の絞り込み、QA の検証を依頼し、その後検証のための人的労力を削減します。
構築されたデータセットは、多言語 LM の言語間言語伝達能力のベンチマークであり、実験結果では、LM が簡単に解決できる問題については言語伝達能力が高いが、深い知識や常識を必要とする質問については言語伝達能力が低いことが示されました。
これは、評価とトレーニング用の言語固有のデータセットの必要性を強調しています。
最後に、私たちの方法は、多言語 LM が言語固有の知識を含む QA を作成でき、手動で作成する場合と比較してデータセット作成コストを大幅に削減できることを実証しました。
データセットは https://huggingface.co/datasets/yuuke1997/mCSQA で入手できます。

要約(オリジナル)

It is very challenging to curate a dataset for language-specific knowledge and common sense in order to evaluate natural language understanding capabilities of language models. Due to the limitation in the availability of annotators, most current multilingual datasets are created through translation, which cannot evaluate such language-specific aspects. Therefore, we propose Multilingual CommonsenseQA (mCSQA) based on the construction process of CSQA but leveraging language models for a more efficient construction, e.g., by asking LM to generate questions/answers, refine answers and verify QAs followed by reduced human efforts for verification. Constructed dataset is a benchmark for cross-lingual language-transfer capabilities of multilingual LMs, and experimental results showed high language-transfer capabilities for questions that LMs could easily solve, but lower transfer capabilities for questions requiring deep knowledge or commonsense. This highlights the necessity of language-specific datasets for evaluation and training. Finally, our method demonstrated that multilingual LMs could create QA including language-specific knowledge, significantly reducing the dataset creation cost compared to manual creation. The datasets are available at https://huggingface.co/datasets/yusuke1997/mCSQA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google