要約
ChatGPT は、機械翻訳 (MT) の優れた機能を示しています。
いくつかの先行研究は、高リソース言語の商用システムに匹敵する結果を達成することを示していますが、複雑なタスク (低リソースおよび遠隔言語ペアの翻訳など) では遅れをとっています。
ただし、彼らは通常、ChatGPT の機能を十分に引き出すことができない単純なプロンプトを採用しています。
このレポートでは、いくつかの側面 (温度、タスク情報、ドメイン情報) を再検討することで、ChatGPT の翻訳能力をさらに掘り下げることを目指しており、それに応じて、タスク固有プロンプト (TSP) とドメイン固有プロンプト (
DSP)。
1) ChatGPT のパフォーマンスは温度に大きく依存し、通常は温度が低いほどパフォーマンスが向上します。
2) タスク情報を強調すると、特に複雑な MT タスクで、ChatGPT のパフォーマンスがさらに向上します。
3) ドメイン情報を導入すると、ChatGPT の一般化能力が引き出され、特定のドメインでのパフォーマンスが向上します。
4) ChatGPT は、非英語中心の MT タスクに対して幻覚を生成する傾向があります。これは、提案されたプロンプトによって部分的に対処できますが、MT/NLP コミュニティに対して強調する必要があります。
また、高度な文脈内学習戦略の効果を調査し、(否定的ではあるが興味深い) 観察結果を見つけました。強力な一連の思考プロンプトが単語ごとの翻訳行動につながり、翻訳の大幅な低下をもたらします。
要約(オリジナル)
ChatGPT shows remarkable capabilities for machine translation (MT). Several prior studies have shown that it achieves comparable results to commercial systems for high-resource languages, but lags behind in complex tasks, e.g, low-resource and distant-language-pairs translation. However, they usually adopt simple prompts which can not fully elicit the capability of ChatGPT. In this report, we aim to further mine ChatGPT’s translation ability by revisiting several aspects: temperature, task information, and domain information, and correspondingly propose two (simple but effective) prompts: Task-Specific Prompts (TSP) and Domain-Specific Prompts (DSP). We show that: 1) The performance of ChatGPT depends largely on temperature, and a lower temperature usually can achieve better performance; 2) Emphasizing the task information further improves ChatGPT’s performance, particularly in complex MT tasks; 3) Introducing domain information can elicit ChatGPT’s generalization ability and improve its performance in the specific domain; 4) ChatGPT tends to generate hallucinations for non-English-centric MT tasks, which can be partially addressed by our proposed prompts but still need to be highlighted for the MT/NLP community. We also explore the effects of advanced in-context learning strategies and find a (negative but interesting) observation: the powerful chain-of-thought prompt leads to word-by-word translation behavior, thus bringing significant translation degradation.
arxiv情報
| 著者 | Keqin Peng,Liang Ding,Qihuang Zhong,Li Shen,Xuebo Liu,Min Zhang,Yuanxin Ouyang,Dacheng Tao |
| 発行日 | 2023-03-24 03:35:21+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google