ParroT: Translating During Chat Using Large Language Models

要約

タイトル：ParroT：大規模言語モデルを使用したチャット中の翻訳

要約：

– ChatGPTやGPT-4のような大規模言語モデル（LLMs）は、機械翻訳などの自然言語処理（NLP）タスクで優れた能力を発揮しています。
– しかしながら、これらのモデルは制限されたAPIを介してのみアクセス可能であり、新しい研究や進歩を妨げる障壁となっています。
– そのため、ParroTフレームワークを提案し、オープンソースのLLMs（LLaMA-7b）と人間による翻訳および評価データに基づいてチャット中の翻訳能力を強化および規制します。
– 具体的には、ParroTは翻訳データを命令に従うスタイルに再構成し、「ヒント」フィールドを導入して追加の要件を取り入れ、翻訳プロセスを規制します。
– したがって、翻訳指示、対照指示、エラー誘導指示の3つの指示タイプを提案し、ParroTモデルの調整を行います。
– Floresの2つのサブセットとWMT22のテストセットでの実験は、翻訳指示がバニラLLMsの翻訳性能を大幅に向上させることを示し、エラー誘導指示はさらなる改善をもたらすことができることを示しています。
– 一方、Alpacaマルチタスクデータセットを調整に取り入れたParroTモデルは一般タスクの能力も保持できます。

要約(オリジナル)

Large language models (LLMs) like ChatGPT and GPT-4 have exhibited remarkable abilities on a wide range of natural language processing (NLP) tasks, including various machine translation abilities accomplished during chat. However, these models are only accessible through restricted APIs, which creates barriers to new research and advancements in the field. Therefore, we propose the $\mathbf{ParroT}$ framework to enhance and regulate the translation abilities during chat based on open-sourced LLMs (i.e., LLaMA-7b) and human written translation and evaluation data. Specifically, ParroT reformulates translation data into the instruction-following style, and introduces a ‘Hint’ field for incorporating extra requirements to regulate the translation process. Accordingly, we propose three instruction types for finetuning ParroT models, including translation instruction, contrastive instruction, and error-guided instruction. Experiments on two Flores subsets and WMT22 test sets suggest that translation instruction improves the translation performance of vanilla LLMs significantly while error-guided instruction can lead to a further improvement, which demonstrates the importance of learning from low-quality translations annotated by human. Meanwhile, the ParroT models can also preserve the ability on general tasks with the Alpaca multi-task dataset involved in finetuning. Codes: https://github.com/wxjiao/ParroT

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI