Zero-Shot Cross-Lingual Summarization via Large Language Models

要約

タイトル：Zero-Shot Cross-Lingual Summarization via Large Language Models
要約：
– クロスリンガル要約（CLS）は、ソース言語の文書から異なるターゲット言語の要約を生成することを目的としている。
– LLMS（Large Language Models）（GPT-3.5、ChatGPT、GPT-4など）の登場により、CLSに対する注目が高まっているが、LLMsのCLSの性能はまだ不明である。
– 本報告では、異なるパラダイム（エンドトゥエンドとパイプライン）からLLMsをガイドするためのさまざまなプロンプトを経験的に使用し、生成された要約の予備評価を提供する。
– ChatGPTとGPT-4は、詳細な情報を含む長い要約を生成する傾向があり、対話型プロンプトの助けを借りると、情報と簡潔さをバランスよく取り入れることができ、CLSの性能を大幅に改善できることがわかった。
– CLSの複合的な性質から、LLMsは要約と翻訳を同時に行う必要があるため、ゼロショットでこのタスクを達成することはLLMsにとっても課題である。
– 3つの広く使用されているCLSデータセットでの実験結果から、GPT-4はステートオブジアートなゼロショットCLSの性能を達成し、ファインチューニングされたmBART-50と競争的な性能を発揮することがわかった。
– BLOOMZ、ChatGLM-6B、Vicuna-13B、ChatYuanなどの多言語LLMsとバイリンガルLLMsは、限定的なゼロショットCLS能力を持っていることがわかった。
– したがって、LLM研究者はCLSをテストベッドとして使用することをお勧めする。

要約(オリジナル)

Given a document in a source language, cross-lingual summarization (CLS) aims to generate a summary in a different target language. Recently, the emergence of Large Language Models (LLMs), such as GPT-3.5, ChatGPT and GPT-4, has attracted wide attention from the computational linguistics community. However, it is not yet known the performance of LLMs on CLS. In this report, we empirically use various prompts to guide LLMs to perform zero-shot CLS from different paradigms (i.e., end-to-end and pipeline), and provide a preliminary evaluation on the generated summaries. We find that ChatGPT and GPT-4 originally prefer to produce lengthy summaries with detailed information. These two LLMs can further balance informativeness and conciseness with the help of an interactive prompt, significantly improving their CLS performance. Experimental results on three widely-used CLS datasets show that GPT-4 achieves state-of-the-art zero-shot CLS performance, and performs competitively compared with the fine-tuned mBART-50. Moreover, we also find some multi-lingual and bilingual LLMs (i.e., BLOOMZ, ChatGLM-6B, Vicuna-13B and ChatYuan) have limited zero-shot CLS ability. Due to the composite nature of CLS, which requires models to perform summarization and translation simultaneously, accomplishing this task in a zero-shot manner is even a challenge for LLMs. Therefore, we sincerely hope and recommend future LLM research could use CLS as a testbed.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI