Cross-lingual Cross-temporal Summarization: Dataset, Models, Evaluation

要約

要約は自然言語処理 (NLP) で広く研究されていますが、異言語間時間間要約 (CLCTS) は、異文化間のアクセシビリティ、情報共有、理解を向上させる可能性を秘めた、ほとんど未開発の領域です。
このペーパーでは、データセットの作成、モデリング、評価を含む CLCTS タスクを包括的に扱います。
私たちは、歴史的な架空のテキストと英語とドイツ語のウィキペディアの要約を活用して、最初の CLCTS コーパスを構築し、さまざまな中間タスクの微調整タスクを使用して、一般的なトランスフォーマーのエンドツーエンド モデルの有効性を検証します。
さらに、CLCTS のサマライザーおよび評価者としての ChatGPT の可能性を探ります。
全体として、人間、ChatGPT、およびいくつかの最近の自動評価メトリクスからの評価を報告します。そこでは、中間タスクの微調整されたエンドツーエンド モデルが低品質から中程度の品質の概要を生成していることがわかります。
ChatGPT はサマライザーとして (微調整なしで) 中程度から高品質の出力を提供し、評価者としては人間の評価と適度に相関しますが、スコアが低くなる傾向があります。
ChatGPT は歴史的テキストの正規化にも非常に優れているようです。
最後に、敵対的に攻撃され、ソース文書が表示されていないシナリオで ChatGPT をテストしたところ、ChatGPT は事前の知識を否定するよりも、省略とエンティティの交換において優れていることがわかりました。

要約(オリジナル)

While summarization has been extensively researched in natural language processing (NLP), cross-lingual cross-temporal summarization (CLCTS) is a largely unexplored area that has the potential to improve cross-cultural accessibility, information sharing, and understanding. This paper comprehensively addresses the CLCTS task, including dataset creation, modeling, and evaluation. We build the first CLCTS corpus, leveraging historical fictive texts and Wikipedia summaries in English and German, and examine the effectiveness of popular transformer end-to-end models with different intermediate task finetuning tasks. Additionally, we explore the potential of ChatGPT for CLCTS as a summarizer and an evaluator. Overall, we report evaluations from humans, ChatGPT, and several recent automatic evaluation metrics where we find our intermediate task finetuned end-to-end models generate bad to moderate quality summaries; ChatGPT as a summarizer (without any finetuning) provides moderate to good quality outputs and as an evaluator correlates moderately with human evaluations though it is prone to giving lower scores. ChatGPT also seems to be very adept at normalizing historical text. We finally test ChatGPT in a scenario with adversarially attacked and unseen source documents and find that ChatGPT is better at omission and entity swap than negating against its prior knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google