Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts

要約

大規模言語モデル (LLM) は、少数のサンプルを観察するだけでタスクを効率的に実行できることが知られています。
ただし、リソースが少ない言語では、教師なしの手法が必要となる場合があり、そのような厳選されたサンプルを取得することは依然として困難な場合があります。
さらに、LLM の有能な生成機能は、高リソース言語でのみ観察されますが、過小評価されている言語では、トレーニング前のデータの不均衡によりパフォーマンスが遅れています。
教師付きデータなしで低リソース言語に対する LLM の能力を引き出すために、さまざまな高リソース言語のセットから合成手本を集めて、LLM に任意の言語から英語への翻訳を促すことを提案します。
これらのプロンプトは、ターゲット言語でタスクを実行するための言語内手本を作成するために使用されます。
私たちの教師なしプロンプト手法は、英語とインド系 13 言語およびアフリカの 21 言語の低リソース言語間の翻訳において、さまざまなサイズの LLM での教師あり少数ショット学習と同等のパフォーマンスを発揮します。
また、私たちの方法で生成されたデータに基づいて 7B モデルを微調整すると、175B モデルと競合するパフォーマンスが得られることも示します。
英語以外の翻訳タスクでは、私たちの方法は、多くの低リソース言語で最大 3 chrF++ の教師付きプロンプトよりも優れたパフォーマンスを発揮します。
ゼロショット多言語要約で評価すると、私たちの方法は他の英語ピボットベースラインを最大 4 ROUGE-L 上回っており、GPT-4 にも支持されています。

要約(オリジナル)

Large language models (LLMs) are known to effectively perform tasks by simply observing few exemplars. However, in low-resource languages, obtaining such hand-picked exemplars can still be challenging, where unsupervised techniques may be necessary. Moreover, competent generative capabilities of LLMs are observed only in high-resource languages, while their performances among under-represented languages fall behind due to pre-training data imbalance. To elicit LLMs’ ability onto low-resource languages without any supervised data, we propose to assemble synthetic exemplars from a diverse set of high-resource languages to prompt the LLMs to translate from any language into English. These prompts are then used to create intra-lingual exemplars to perform tasks in the target languages. Our unsupervised prompting method performs on par with supervised few-shot learning in LLMs of different sizes for translations between English and 13 Indic and 21 African low-resource languages. We also show that fine-tuning a 7B model on data generated from our method helps it perform competitively with a 175B model. In non-English translation tasks, our method even outperforms supervised prompting by up to 3 chrF++ in many low-resource languages. When evaluated on zero-shot multilingual summarization, our method surpasses other English-pivoting baselines by up to 4 ROUGE-L and is also favored by GPT-4.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google