Multilingual Large Language Models Are Not (Yet) Code-Switchers

要約

多言語大規模言語モデル (LLM) は最近、幅広いタスクで優れた機能を発揮し、ゼロショットまたは少数ショットのプロンプト手法を通じて最先端のパフォーマンスを発揮します。
単一言語タスクにおける彼らの能力については広範な研究が行われているが、コードスイッチング（CSW）、つまり発話内で言語を交互に切り替える実践の文脈における彼らの可能性の研究は、比較的未知のままである。
このペーパーでは、さまざまな多言語 LLM の包括的な実証分析を提供し、感情分析、機械翻訳、要約、単語レベルの言語識別という 4 つのタスクにわたってそのパフォーマンスをベンチマークします。
私たちの結果は、多言語 LLM がゼロまたは数ショット プロンプトを使用する特定のタスクで有望な結果を示したにもかかわらず、はるかに小さいスケールの微調整モデルと比較するとパフォーマンスが依然として低いことを示しています。
私たちは、LLM における現在の「多言語主義」は本質的にコード交換テキストの熟練度を意味するものではないと主張し、この矛盾を埋めるための将来の研究を求めています。

要約(オリジナル)

Multilingual Large Language Models (LLMs) have recently shown great capabilities in a wide range of tasks, exhibiting state-of-the-art performance through zero-shot or few-shot prompting methods. While there have been extensive studies on their abilities in monolingual tasks, the investigation of their potential in the context of code-switching (CSW), the practice of alternating languages within an utterance, remains relatively uncharted. In this paper, we provide a comprehensive empirical analysis of various multilingual LLMs, benchmarking their performance across four tasks: sentiment analysis, machine translation, summarization and word-level language identification. Our results indicate that despite multilingual LLMs exhibiting promising outcomes in certain tasks using zero or few-shot prompting, they still underperform in comparison to fine-tuned models of much smaller scales. We argue that current ‘multilingualism’ in LLMs does not inherently imply proficiency with code-switching texts, calling for future research to bridge this discrepancy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google