Is ChatGPT A Good Translator? Yes With GPT-4 As The Engine

要約

このレポートは、翻訳プロンプト、多言語翻訳、翻訳の堅牢性など、機械翻訳に対する ChatGPT の予備評価を提供します。
ChatGPT によってアドバイスされたプロンプトを採用して翻訳機能をトリガーし、候補プロンプトが一般的にうまく機能し、パフォーマンスにわずかな違いがあることを確認しました。
多数のベンチマーク テスト セットで評価することにより、ChatGPT は、リソースの多いヨーロッパ言語では商用の翻訳製品 (Google 翻訳など) と競合するパフォーマンスを発揮しますが、リソースの少ない言語や遠く離れた言語では大幅に遅れをとっていることがわかりました。
遠い言語については、ChatGPT にソース文を高リソースのピボット言語に翻訳してからターゲット言語に翻訳するように依頼する $\mathbf{pivot~prompting}$ という名前の興味深い戦略を検討します。これにより、翻訳パフォーマンスが大幅に向上します。
翻訳の堅牢性に関しては、ChatGPT は生物医学の抄録や Reddit のコメントに対する商用システムほどのパフォーマンスは発揮しませんが、話し言葉では良好な結果を示しています。
GPT-4 エンジンの起動により、ChatGPT の翻訳パフォーマンスが大幅に向上し、離れた言語であっても、商用の翻訳製品に匹敵するようになりました。
つまり、 $\mathbf{ChatGPT~has~already~become~a~good~translator!}$ スクリプトとデータ: https://github.com/wxjiao/Is-ChatGPT-A-Good-Translator

要約(オリジナル)

This report provides a preliminary evaluation of ChatGPT for machine translation, including translation prompt, multilingual translation, and translation robustness. We adopt the prompts advised by ChatGPT to trigger its translation ability and find that the candidate prompts generally work well and show minor performance differences. By evaluating on a number of benchmark test sets, we find that ChatGPT performs competitively with commercial translation products (e.g., Google Translate) on high-resource European languages but lags behind significantly on low-resource or distant languages. For distant languages, we explore an interesting strategy named $\mathbf{pivot~prompting}$ that asks ChatGPT to translate the source sentence into a high-resource pivot language before into the target language, which improves the translation performance significantly. As for the translation robustness, ChatGPT does not perform as well as the commercial systems on biomedical abstracts or Reddit comments but exhibits good results on spoken language. With the launch of the GPT-4 engine, the translation performance of ChatGPT is significantly boosted, becoming comparable to commercial translation products, even for distant languages. In other words, $\mathbf{ChatGPT~has~already~become~a~good~translator!}$ Scripts and data: https://github.com/wxjiao/Is-ChatGPT-A-Good-Translator

arxiv情報

提供元, 利用サービス

arxiv.jp, Google