The Obscure Limitation of Modular Multilingual Language Models

要約

未知の言語を使用した多言語推論シナリオにおけるモジュール式多言語言語モデル (MLM) の制限を明らかにします。
モジュラー MLM の既存の評価では、言語識別 (LID) モジュールの関与が除外されており、これにより、モジュラー MLM の実際の多言語シナリオのパフォーマンスが曖昧になります。
この研究では、モジュラー MLM の多言語評価に対する LID の追加の効果を紹介し、LID とモジュラー MLM のパイプライン アプローチによって生じるパフォーマンスのギャップを埋めるための議論を提供します。

要約(オリジナル)

We expose the limitation of modular multilingual language models (MLMs) in multilingual inference scenarios with unknown languages. Existing evaluations of modular MLMs exclude the involvement of language identification (LID) modules, which obscures the performance of real-case multilingual scenarios of modular MLMs. In this work, we showcase the effect of adding LID on the multilingual evaluation of modular MLMs and provide discussions for closing the performance gap of caused by the pipelined approach of LID and modular MLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google