CADS: A Systematic Literature Review on the Challenges of Abstractive Dialogue Summarization

要約

抽象的な対話の要約は、会話を有益で簡潔な要約に抽出するタスクです。
このテーマについてはレビューが行われてきましたが、対話の要約の課題を詳細に説明し、タスクの異なる理解を統一し、提案された手法、データセット、評価指標を課題に合わせて調整する包括的な作業が不足しています。
この記事は、Semantic Sc​​holar データベースと DBLP データベースに基づいて、2019 年から 2024 年の間に出版された 1,262 件のユニークな研究論文を系統的にレビューすることにより、英語対話のための Transformer ベースの抽象的要約に関する研究を要約します。
私たちは、対話の要約に存在する主な課題 (つまり、言語、構造、理解、話者、顕著性、事実性) をカバーし、それらをグラフベースのアプローチ、追加のトレーニング タスク、計画戦略などの対応する技術 (通常は過度に依存している) にリンクします。
BART ベースのエンコーダ/デコーダ モデルで。
言語などの一部の課題は、主にトレーニング方法のおかげでかなりの進歩が見られましたが、理解力、事実性、顕著性などの課題は依然として困難であり、重要な研究の機会が残されていることがわかりました。
私たちは、これらのアプローチが通常どのように評価されるかを調査し、対話のサブドメイン（会議、医療など）のデータセット、スコアとアノテーターの合意を評価するための確立された自動測定基準および人間による評価アプローチをカバーします。
すべてのサブドメインにまたがるデータセットはほんのわずかしかないことがわかります。
ROUGE メトリクスが最も使用されていますが、内部アノテーター間の合意やアノテーション ガイドラインについて十分な詳細が示されていない一方で、人間による評価が頻繁に報告されています。
さらに、最近調査された大規模な言語モデルの考えられる影響について議論し、関連性と難易度の潜在的な変化にもかかわらず、説明した課題分類法は依然として関連性があると結論付けています。

要約(オリジナル)

Abstractive dialogue summarization is the task of distilling conversations into informative and concise summaries. Although reviews have been conducted on this topic, there is a lack of comprehensive work detailing the challenges of dialogue summarization, unifying the differing understanding of the task, and aligning proposed techniques, datasets, and evaluation metrics with the challenges. This article summarizes the research on Transformer-based abstractive summarization for English dialogues by systematically reviewing 1262 unique research papers published between 2019 and 2024, relying on the Semantic Scholar and DBLP databases. We cover the main challenges present in dialog summarization (i.e., language, structure, comprehension, speaker, salience, and factuality) and link them to corresponding techniques such as graph-based approaches, additional training tasks, and planning strategies, which typically overly rely on BART-based encoder-decoder models. We find that while some challenges, like language, have seen considerable progress, mainly due to training methods, others, such as comprehension, factuality, and salience, remain difficult and hold significant research opportunities. We investigate how these approaches are typically assessed, covering the datasets for the subdomains of dialogue (e.g., meeting, medical), the established automatic metrics and human evaluation approaches for assessing scores and annotator agreement. We observe that only a few datasets span across all subdomains. The ROUGE metric is the most used, while human evaluation is frequently reported without sufficient detail on inner-annotator agreement and annotation guidelines. Additionally, we discuss the possible implications of the recently explored large language models and conclude that despite a potential shift in relevance and difficulty, our described challenge taxonomy remains relevant.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google