Unlocking the Non-Native Language Context Limitation: Native Language Prompting Facilitates Knowledge Elicitation

要約

多言語大規模言語モデル (MLLM) は、主要言語のコーパスから関連する知識を取得したにもかかわらず、非主要言語で提起される質問に答えるのに苦労します。
対照的に、人間の多言語使用者は、Positive Native Language Transfer (PNLT) を通じて、このような非母語のコンテキスト制限を克服できます。
PNLT のプロセスに触発されて、MLLM の主要言語を人間の多言語使用者の母国語に類推し、人間の多言語使用者で観察される PNLT をシミュレートする母語プロンプティング (NatLan) を提案します。
MLLM の母語コンテキストを明示的に作成して、質問応答中に母語の豊富な知識を引き出しやすくし、非母語コンテキストによって課せられる制限を解除します。
マルチ MLLM コラボレーションを採用することで、NatLan は PNLT をシミュレートする際の各 MLLM のワークロードを軽減し、セマンティック転送を洗練します。
C-Eval ベンチマークでは、NatLan は 5 つの MLLM にわたって平均精度が最大 10.1% 向上し、ハードレベルのサブセットで最大 5.0% 向上し、すべての一流の関連メソッドを上回っています。
私たちのコードは https://github.com/AnonyNLP/NatLan で入手できます。

要約(オリジナル)

Multilingual large language models (MLLMs) struggle to answer questions posed in non-dominant languages, even though they have acquired the relevant knowledge from their dominant language corpus. In contrast, human multilinguals can overcome such non-native language context limitations through Positive Native Language Transfer (PNLT). Inspired by the process of PNLT, we analogize the dominant language of MLLMs to the native language of human multilinguals, and propose Native Language Prompting (NatLan) to simulate the PNLT observed in human multilinguals. It explicitly creates native language contexts for MLLMs to facilitate the elicitation of the rich native language knowledge during question-answering, unlocking the limitations imposed by non-native language contexts. By employing multi-MLLM collaboration, NatLan reduces the workload on each MLLM in simulating PNLT and refines semantic transfer. On the C-Eval benchmark, NatLan provides up to a 10.1% average accuracy improvement and up to a 5.0% increase in the hard-level subset across five MLLMs, surpassing all top-notch related methods. Our code is available at https://github.com/AnonyNLP/NatLan.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google