Understanding and Mitigating Language Confusion in LLMs

要約

私たちは、LLM の驚くべき制限、つまりユーザーが希望する言語でテキストを一貫して生成できないことを調査します。
私たちは、このような失敗を評価するために言語混乱ベンチマーク (LCB) を作成し、類型的に多様な 15 の言語を、既存および新規作成された英語および多言語プロンプトでカバーします。
私たちは、実際のユースケースを反映した単一言語およびクロスリンガル生成に関するさまざまな LLM を評価しました。その結果、Llama Instruct モデルと Mistral モデルは高度な言語の混乱を示し、最も強力なモデルであっても正しい言語で一貫して応答できないことがわかりました。
基本および英語中心の命令モデルは言語の混乱を招きやすく、複雑なプロンプトと高いサンプリング温度によってさらに悪化することが観察されています。
言語の混乱は、数回のプロンプト、多言語 SFT、および設定の調整によって部分的に軽減できることがわかりました。
効率的でスケーラブルな多言語評価の最初のレイヤーとして機能する言語混乱ベンチマークを https://github.com/for-ai/ language-confusion でリリースします。

要約(オリジナル)

We investigate a surprising limitation of LLMs: their inability to consistently generate text in a user’s desired language. We create the Language Confusion Benchmark (LCB) to evaluate such failures, covering 15 typologically diverse languages with existing and newly-created English and multilingual prompts. We evaluate a range of LLMs on monolingual and cross-lingual generation reflecting practical use cases, finding that Llama Instruct and Mistral models exhibit high degrees of language confusion and even the strongest models fail to consistently respond in the correct language. We observe that base and English-centric instruct models are more prone to language confusion, which is aggravated by complex prompts and high sampling temperatures. We find that language confusion can be partially mitigated via few-shot prompting, multilingual SFT and preference tuning. We release our language confusion benchmark, which serves as a first layer of efficient, scalable multilingual evaluation at https://github.com/for-ai/language-confusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google