Unleashing the Power of ChatGPT for Translation: An Empirical Study

要約

タイトル：ChatGPTの翻訳能力を引き出す：実証的研究

要約：

– ChatGPTは自然言語理解と生成の能力において驚くべき能力を示している。
– 機械翻訳は自然言語処理の分野で重要なタスクであり、言語理解と生成の能力に heavily reliesする。
– この論文では、ChatGPTを使用して機械翻訳をサポートする方法を探究する。
– 広範な翻訳に対して複数の翻訳プロンプトを採用し、ChatGPTの翻訳能力を評価する。
– 実験結果によれば、ChatGPTは専門家による翻訳システムに比べて高リソース言語の翻訳タスクにおいて同等またはそれ以上の性能を発揮するが、低リソース翻訳においては大幅に遅れる。
– さらに、複数のリファレンスを使用して翻訳品質を評価し、ChatGPTは専門家のシステムと比較して優れた性能を発揮する。
– ドメイン固有の翻訳に関する実験も行われており、ChatGPTは提供されたドメインキーワードを理解し、適切な翻訳を出力する能力があることが示された。
– 最後に、異なるベースプロンプトに対して一貫した改善が示されるフューショットプロンプトを実行した。
– この研究は、ChatGPTには翻訳においてまだ大きな可能性があることを実証的に示している。

要約(オリジナル)

The recently released ChatGPT has demonstrated surprising abilities in natural language understanding and natural language generation. Machine translation is an important and extensively studied task in the field of natural language processing, which heavily relies on the abilities of language understanding and generation. Thus, in this paper, we explore how to assist machine translation with ChatGPT. We adopt several translation prompts on a wide range of translations. Our experimental results show that ChatGPT with designed translation prompts can achieve comparable or better performance over professional translation systems for high-resource language translations but lags behind significantly on low-resource translations. We further evaluate the translation quality using multiple references, and ChatGPT achieves superior performance compared to the professional systems. We also conduct experiments on domain-specific translations, the final results show that ChatGPT is able to comprehend the provided domain keyword and adjust accordingly to output proper translations. At last, we perform few-shot prompts that show consistent improvement across different base prompts. Our work provides empirical evidence that ChatGPT still has great potential in translations.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI