How to Design Translation Prompts for ChatGPT: An Empirical Study

要約

タイトル:ChatGPTの翻訳プロンプトの設計方法:実証研究

要約:

-最近リリースされたChatGPTは、自然言語理解と自然言語生成の驚くべき能力を示しました。
-機械翻訳は言語理解と生成の能力に大いに依存しているため、本稿ではChatGPTを用いた機械翻訳の支援方法を探求します。
-私たちは広範な翻訳においていくつかの翻訳プロンプトを採用しました。実験結果から、ChatGPTは設計された翻訳プロンプトを用いることで、商用翻訳システムと同等またはそれ以上の性能を達成することができます。
-さらに、複数の参照を用いた翻訳品質の評価を行い、ChatGPTは商用システムと比較して優れた性能を発揮することが示されました。
-また、特定の分野の翻訳についても実験を行い、ChatGPTが提供された分野キーワードを理解し、適切な翻訳を出力できることが示されました。
-最後に、異なるベースプロンプトを用いたfew-shot promptsを行い、一貫した改善が見られました。
-私たちの研究は、ChatGPTには依然として翻訳において大きな可能性があることを実証しています。

要約(オリジナル)

The recently released ChatGPT has demonstrated surprising abilities in natural language understanding and natural language generation. Machine translation relies heavily on the abilities of language understanding and generation. Thus, in this paper, we explore how to assist machine translation with ChatGPT. We adopt several translation prompts on a wide range of translations. Our experimental results show that ChatGPT with designed translation prompts can achieve comparable or better performance over commercial translation systems for high-resource language translations. We further evaluate the translation quality using multiple references, and ChatGPT achieves superior performance compared to commercial systems. We also conduct experiments on domain-specific translations, the final results show that ChatGPT is able to comprehend the provided domain keyword and adjust accordingly to output proper translations. At last, we perform few-shot prompts that show consistent improvement across different base prompts. Our work provides empirical evidence that ChatGPT still has great potential in translations.

arxiv情報

著者 Yuan Gao,Ruili Wang,Feng Hou
発行日 2023-04-21 09:35:44+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, OpenAI

カテゴリー: cs.CL パーマリンク