ParroT: Translating During Chat Using Large Language Models

要約

タイトル: 大規模言語モデルを用いたチャット中の翻訳を実現する$\mathbf{ParroT}$フレームワーク

要約:
– ChatGPTやGPT-4などの大規模言語モデルは、自然言語処理タスク（機械翻訳など）において優れた性能を発揮しているが、それらは制限されたAPIを通してしか利用できないため、新しい研究や発展を阻害する。
– そこで、オープンソースのLLMs（LLaMA-7b、BLOOMZ-7b-mt）と人間による翻訳データを利用して、翻訳能力を向上・調整する$\mathbf{ParroT}$フレームワークを提案する。
– ParroTは翻訳データを指示に従うスタイルに改め、翻訳プロセスを調整するための’$\mathbf{Hint}$’フィールドを導入する。
– 翻訳命令・対照的命令・エラーガイドされた命令の3つの命令タイプを提案し、これらを用いてParroTモデルをファインチューニングすることができる。
– 実験結果から、翻訳命令はバニラLLMsの翻訳性能を大幅に改善できることが示され、エラーガイドされた命令はさらなる改善につながることが分かった。
– ParroTモデルは、Alpacaマルチタスクデータセットを用いてファインチューニングしても一般的なタスクでも適用可能である。
– より詳しい実装については、以下のGitHubプロジェクトを参照すること。https://github.com/wxjiao/ParroT

要約(オリジナル)

Large language models (LLMs) like ChatGPT and GPT-4 have exhibited remarkable abilities on a wide range of natural language processing (NLP) tasks, including various machine translation abilities accomplished during chat. However, these models are only accessible through restricted APIs, which creates barriers to new research and advancements in the field. Therefore, we propose the $\mathbf{ParroT}$ framework to enhance and regulate the translation abilities during chat based on open-sourced LLMs (i.e., LLaMA-7b, BLOOMZ-7b-mt) and human written translation and evaluation data. Specifically, ParroT reformulates translation data into the instruction-following style, and introduces a ‘$\mathbf{Hint}$’ field for incorporating extra requirements to regulate the translation process. Accordingly, we propose three instruction types for finetuning ParroT models, including translation instruction, contrastive instruction, and error-guided instruction. We can finetune either the full models or partial parameters via low rank adaptation (LoRA). Experiments on Flores subsets and WMT22 test sets suggest that translation instruction improves the translation performance of vanilla LLMs significantly while error-guided instruction can lead to a further improvement, which demonstrates the importance of learning from low-quality translations annotated by human. Meanwhile, the ParroT models can also preserve the ability on general tasks with the Alpaca multi-task dataset involved in finetuning. Please refer to our Github project for more implementation details: https://github.com/wxjiao/ParroT

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI