要約
ソース言語のドキュメントが与えられた場合、言語間要約 (CLS) は、別のターゲット言語で要約を生成することを目的としています。
最近、ChatGPT の出現は、計算言語学コミュニティから大きな注目を集めています。
ただし、CLS での ChatGPT のパフォーマンスはまだわかっていません。
このレポートでは、さまざまなプロンプトを経験的に使用して、ChatGPT がさまざまなパラダイム (つまり、エンドツーエンドとパイプライン) からゼロショット CLS を実行するように導き、生成された要約の予備評価を提供します。
より詳細な情報を含む長い要約を作成します。
しかし、インタラクティブなプロンプトの助けを借りて、ChatGPT は情報量と簡潔さのバランスを取り、CLS のパフォーマンスを大幅に向上させることができます。
広く使用されている 3 つの CLS データセットに関する実験結果は、ChatGPT が高度な GPT 3.5 モデル (つまり、text-davinci-003) よりも優れていることを示しています。
さらに、CLS での ChatGPT の優位性を示す定性的なケース スタディを提供します。
要約(オリジナル)
Given a document in a source language, cross-lingual summarization (CLS) aims to generate a summary in a different target language. Recently, the emergence of ChatGPT has attracted wide attention from the computational linguistics community. However, it is not yet known the performance of ChatGPT on CLS. In this report, we empirically use various prompts to guide ChatGPT to perform zero-shot CLS from different paradigms (i.e., end-to-end and pipeline), and provide a preliminary evaluation on its generated summaries.We find that ChatGPT originally prefers to produce lengthy summaries with more detailed information. But with the help of an interactive prompt, ChatGPT can balance between informativeness and conciseness, and significantly improve its CLS performance. Experimental results on three widely-used CLS datasets show that ChatGPT outperforms the advanced GPT 3.5 model (i.e., text-davinci-003). In addition, we provide qualitative case studies to show the superiority of ChatGPT on CLS.
arxiv情報
| 著者 | Jiaan Wang,Yunlong Liang,Fandong Meng,Zhixu Li,Jianfeng Qu,Jie Zhou |
| 発行日 | 2023-02-28 01:27:37+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google