BigTrans: Augmenting Large Language Models with Multilingual Translation Capability over 100 Languages

要約

大規模言語モデル (LLM) は、さまざまな自然言語間で有望な翻訳パフォーマンスを示します。
ただし、多くの LLM、特に BLOOM や LLaMA などのオープンソースの LLM は英語が主流で、数十の自然言語しかサポートしていないため、言語翻訳における LLM の可能性はあまり検討されていません。
この研究では、20 言語のみをカバーする LLaMA を適応させ、100 言語以上の多言語翻訳機能を強化する BigTrans を紹介します。
BigTrans は LLaMA-13B に基づいて構築されており、3 つのステップで最適化されます。
まず、膨大な中国語の単一言語データを使用して LLaMA のトレーニングを続けます。
次に、102 の自然言語をカバーする大規模な並列データセットを使用してモデルのトレーニングを続けます。
3 番目に、多言語翻訳命令を使用して基礎モデルを指示調整し、BigTrans モデルに導きます。
多言語翻訳に関する予備実験では、BigTrans が多くの言語で ChatGPT や Google 翻訳と同等のパフォーマンスを示し、8 つの言語ペアでは ChatGPT を上回るパフォーマンスを示しています。
私たちは BigTrans モデルをリリースし、それが研究の進歩を促進することを願っています。

要約(オリジナル)

Large language models (LLMs) demonstrate promising translation performance among various natural languages. However, many LLMs especially the open-sourced ones, such as BLOOM and LLaMA, are English-dominant and support only dozens of natural languages, making the potential of LLMs on language translation less explored. In this work, we present BigTrans which adapts LLaMA that covers only 20 languages and enhances it with multilingual translation capability on more than 100 languages. BigTrans is built upon LLaMA-13B and it is optimized in three steps. First, we continue training LLaMA with massive Chinese monolingual data. Second, we continue training the model with a large-scale parallel dataset that covers 102 natural languages. Third, we instruct-tune the foundation model with multilingual translation instructions, leading to our BigTrans model. The preliminary experiments on multilingual translation show that BigTrans performs comparably with ChatGPT and Google Translate in many languages and even outperforms ChatGPT in 8 language pairs. We release the BigTrans model and hope it can advance the research progress.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google