ParroT: Translating During Chat Using Large Language Models

要約

タイトル：ParroT：大規模言語モデルを使用したチャット中の翻訳

要約：
– 大規模言語モデル（LLMs）は、ChatGPTやGPT-4などのモデルが、さまざまな機械翻訳作業の能力を示すなど、自然言語処理（NLP）タスクで驚くべき能力を示しています。
– しかしながら、これらのモデルは制限されたAPIを通じてのみアクセス可能であり、新しい研究や進歩を制限する要因となっています。
– そのため、著者らは、オープンソースのLLMs（LLaMA-7b、BLOOMZ-7b-mt）と人間による翻訳・評価データに基づいて、チャット中の翻訳能力を向上・調整するためのParroTフレームワークを提案しています。
– 具体的には、ParroTは翻訳データを命令に従う形で再構成し、「ヒント」欄を導入して、翻訳プロセスを調整するための追加要件を組み込みます。
– したがって、翻訳指示、対照指示、エラーガイド指示の3つの指示タイプを提案し、フルモデルまたは部分パラメータを低ランク適応（LoRA）を介して微調整できます。
– FloresサブセットとWMT22テストセットでの実験により、翻訳指示はバニラLLMsの翻訳性能を大幅に向上させることができ、エラーガイド指示はさらなる改善をもたらすことが示され、人間による低品質の翻訳から学ぶことの重要性が示されています。
– 同時に、Alpacaマルチタスクデータセットを使用した微調整でも、ParroTモデルは一般的なタスクの能力を維持できます。

要点：
– LLMsの翻訳能力は優れているが、制限されたAPIが新しい研究と進歩を制限している。
– ParroTフレームワークは、オープンソースのLLMsと人間による翻訳・評価データを使用して、チャット中の翻訳能力を向上・調整することを目的としている。
– データを命令に従う形で再構成し、「ヒント」欄を導入して、翻訳プロセスを調整するための追加要件を組み込まれる。
– 翻訳指示、対照指示、エラーガイド指示の3つの指示タイプを提案しそれらを使用してモデルを微調整できる。
– 実験により、翻訳指示やエラーガイド指示で翻訳性能の向上が確認され、人間による低品質の翻訳から学ぶことの重要性が示唆された。
– ParroTモデルはAlpacaマルチタスクデータセットを使用した微調整でも一般的なタスクの能力を維持できる。

要約(オリジナル)

Large language models (LLMs) like ChatGPT and GPT-4 have exhibited remarkable abilities on a wide range of natural language processing (NLP) tasks, including various machine translation abilities accomplished during chat. However, these models are only accessible through restricted APIs, which creates barriers to new research and advancements in the field. Therefore, we propose the $\mathbf{ParroT}$ framework to enhance and regulate the translation abilities during chat based on open-sourced LLMs (i.e., LLaMA-7b, BLOOMZ-7b-mt) and human written translation and evaluation data. Specifically, ParroT reformulates translation data into the instruction-following style, and introduces a ‘$\mathbf{Hint}$’ field for incorporating extra requirements to regulate the translation process. Accordingly, we propose three instruction types for finetuning ParroT models, including translation instruction, contrastive instruction, and error-guided instruction. We can finetune either the full models or partial parameters via low rank adaptation (LoRA). Experiments on Flores subsets and WMT22 test sets suggest that translation instruction improves the translation performance of vanilla LLMs significantly while error-guided instruction can lead to a further improvement, which demonstrates the importance of learning from low-quality translations annotated by human. Meanwhile, the ParroT models can also preserve the ability on general tasks with the Alpaca multi-task dataset involved in finetuning. Please refer to our Github project for more implementation details: https://github.com/wxjiao/ParroT

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI