Zero-Shot Cross-Lingual Summarization via Large Language Models

要約

ソース言語の文書が与えられた場合、クロスリンガル要約 (CLS) は、別のターゲット言語で要約を生成することを目的としています。
最近、GPT-3.5、ChatGPT、GPT-4 などの大規模言語モデル (LLM) の出現が、計算言語学のコミュニティから幅広い注目を集めています。
ただし、CLS 上の LLM のパフォーマンスはまだわかっていません。
このレポートでは、さまざまなプロンプトを経験的に使用して、LLM がさまざまなパラダイム (つまり、エンドツーエンドおよびパイプライン) からゼロショット CLS を実行するようにガイドし、生成された概要についての予備評価を提供します。
ChatGPT と GPT-4 は元々、詳細な情報を含む長い概要を生成することを好むことがわかりました。
これら 2 つの LLM は、インタラクティブなプロンプトを利用して情報提供性と簡潔性のバランスをさらに高めることができ、CLS のパフォーマンスを大幅に向上させることができます。
広く使用されている 3 つの CLS データセットに関する実験結果は、GPT-4 が最先端のゼロショット CLS パフォーマンスを達成し、微調整された mBART-50 と比較して競争力のあるパフォーマンスを示すことを示しています。
さらに、一部の多言語およびバイリンガル LLM (BLOOMZ、ChatGLM-6B、Vicuna-13B、ChatYuan) のゼロショット CLS 能力が限られていることがわかりました。
CLS は複合的な性質を持っており、モデルが要約と翻訳を同時に実行する必要があるため、このタスクをゼロショットで実行することは、LLM にとってさえ困難です。
したがって、私たちは将来の LLM 研究で CLS をテストベッドとして使用できることを心から願っており、推奨します。

要約(オリジナル)

Given a document in a source language, cross-lingual summarization (CLS) aims to generate a summary in a different target language. Recently, the emergence of Large Language Models (LLMs), such as GPT-3.5, ChatGPT and GPT-4, has attracted wide attention from the computational linguistics community. However, it is not yet known the performance of LLMs on CLS. In this report, we empirically use various prompts to guide LLMs to perform zero-shot CLS from different paradigms (i.e., end-to-end and pipeline), and provide a preliminary evaluation on the generated summaries. We find that ChatGPT and GPT-4 originally prefer to produce lengthy summaries with detailed information. These two LLMs can further balance informativeness and conciseness with the help of an interactive prompt, significantly improving their CLS performance. Experimental results on three widely-used CLS datasets show that GPT-4 achieves state-of-the-art zero-shot CLS performance, and performs competitively compared with the fine-tuned mBART-50. Moreover, we also find some multi-lingual and bilingual LLMs (i.e., BLOOMZ, ChatGLM-6B, Vicuna-13B and ChatYuan) have limited zero-shot CLS ability. Due to the composite nature of CLS, which requires models to perform summarization and translation simultaneously, accomplishing this task in a zero-shot manner is even a challenge for LLMs. Therefore, we sincerely hope and recommend future LLM research could use CLS as a testbed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google