PSentScore: Evaluating Sentiment Polarity in Dialogue Summarization

要約

自動対話要約は、人間の会話から最も重要な情報を抽出し、簡潔なテキスト要約にすることを目的とした、よく確立されたタスクである。しかし、ほとんどの既存研究は、事実情報を要約することに主眼を置いており、人間の対話を分析、監視、または促進するための貴重な洞察を保持することができる感情的な内容を無視している。本論文では、対話要約における感情的内容の保存を定量化することを目的としたPSentScoreを導入し、評価する。その結果、最新の要約モデルでは、要約中の感情コンテンツがうまく保存されていないことがわかった。さらに、対話サンプルの訓練セットを注意深く選択することで、内容に関連する指標は若干低下するものの、生成された要約における感情的内容の保存が改善されることを示す。

要約(オリジナル)

Automatic dialogue summarization is a well-established task with the goal of distilling the most crucial information from human conversations into concise textual summaries. However, most existing research has predominantly focused on summarizing factual information, neglecting the affective content, which can hold valuable insights for analyzing, monitoring, or facilitating human interactions. In this paper, we introduce and assess a set of measures PSentScore, aimed at quantifying the preservation of affective content in dialogue summaries. Our findings indicate that state-of-the-art summarization models do not preserve well the affective content within their summaries. Moreover, we demonstrate that a careful selection of the training set for dialogue samples can lead to improved preservation of affective content in the generated summaries, albeit with a minor reduction in content-related metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL