Multilingual Large Language Models Are Not (Yet) Code-Switchers

要約

多言語大規模言語モデル (LLM) は最近、さまざまなタスクで優れた機能を発揮し、少数ショットまたはゼロショットのプロンプト手法を使用して最先端のパフォーマンスを示しています。
これらのモデルは、入力が単一言語であると想定されるタスクで広範囲に研究されてきましたが、入力にコード スイッチング (CSW) が含まれる場合のパフォーマンスの調査にはあまり注意が払われませんでした。
このペーパーでは、さまざまな多言語 LLM に関する広範な実証研究を提供し、感情分析、機械翻訳、単語レベルの言語識別という 3 つのタスクにおけるパフォーマンスのベンチマークを行います。
私たちの調査結果は、多言語 LLM がゼロショットまたは少数ショット プロンプトを使用した場合に特定のタスクで有望な結果を示しているにもかかわらず、そのパフォーマンスは小規模な微調整モデルと比較した場合、平均では依然として不十分であることを示しています。
私たちは、「多言語」LLM は必ずしもコード交換互換であるわけではなく、このギャップを完全に埋めるためには今後の大規模な研究が必要であると主張します。

要約(オリジナル)

Multilingual Large Language Models (LLMs) have recently shown great capability in various tasks, exhibiting state-of-the-art performance using few-shot or zero-shot prompting methods. While these models have been extensively studied in tasks where inputs are assumed to be in a single language, less attention has been paid to exploring their performance when inputs involve code-switching (CSW). In this paper, we provide an extensive empirical study of various multilingual LLMs and benchmark their performance in three tasks: sentiment analysis, machine translation, and word-level language identification. Our findings indicate that despite multilingual LLMs showing promising outcomes in certain tasks when using zero-/few-shot prompting, their performance still falls short on average when compared to smaller finetuned models. We argue that LLMs that are ‘multilingual’ are not necessarily code-switching compatible and extensive future research is required to fully bridge this gap.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google