Teaching Large Language Models an Unseen Language on the Fly

要約

既存の大規模な言語モデルは、多数の低リソース言語、特に効果的なパラメーター更新に使用できるトレーニング データが最小限である極度に低リソースの言語をサポートするのに苦労しています。
したがって、LLM がプロンプトのみを介してその場で新しい言語を学習できるかどうかを調査します。
この疑問を研究するために、現在 LLM でサポートされていない言語である Zhuang のリサーチ スイートを収集します。
私たちは、コンテキスト内学習によって LLM を未知の言語に適応させるためのフレームワークである \textsc{DiPMT++} を紹介します。
\textsc{DiPMT++} は、辞書とわずか 5K の並列文を使用して、GPT-4 のパフォーマンスを中国語からチワン族への翻訳では 0 から 16 BLEU に大幅に向上させ、チワン族から中国語への翻訳では 32 BLEU を達成します。
さらに、人間がまったく見たことのない言語を翻訳するのを支援するこのフレームワークの実際的な有用性を実証し、言語の多様性の保存に貢献する可能性があります。

要約(オリジナル)

Existing large language models struggle to support numerous low-resource languages, particularly the extremely low-resource ones where there is minimal training data available for effective parameter updating. We thus investigate whether LLMs can learn a new language on the fly solely through prompting. To study this question, we collect a research suite for Zhuang, a language supported by no LLMs currently. We introduce \textsc{DiPMT++}, a framework for adapting LLMs to unseen languages by in-context learning. Using a dictionary and only 5K parallel sentences, \textsc{DiPMT++} significantly enhances the performance of GPT-4 from 0 to 16 BLEU for Chinese-to-Zhuang translation and achieves 32 BLEU for Zhuang-to-Chinese translation. Furthermore, we demonstrate the practical utility of this framework in aiding humans to translate completely unseen languages, which could contribute to the preservation of linguistic diversity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google