Increasing faithfulness in human-human dialog summarization with Spoken Language Understanding tasks

要約

対話の要約は、複数の話者間の会話の簡潔で一貫した要約を提供することを目的としています。
最近の言語モデルの進歩によりこのプロセスは強化されましたが、話者の対話を理解し、関連情報を取得する必要があるため、対話を正確かつ忠実に要約することは依然として困難です。
実際、ダイアログの要約に使用される抽象モデルは、矛盾を含む要約を生成する可能性があります。
タスクに関するより意味的に忠実な要約を取得するために、目標指向の人間と人間の対話のための人間と機械の対話システムで音声言語理解 (SLU) を実行するために提案された意味情報を使用することをお勧めします。
この研究では 3 つの重要な貢献を紹介します。 まず、タスク関連情報を組み込むことで要約プロセスがどのように強化され、意味的により正確な要約が得られるかについての調査を提案します。
次に、タスクのセマンティクスに基づいた新しい評価基準を導入します。
最後に、タスク指向の対話要約の研究用に標準化された注釈付きデータを増やした新しいデータセット バージョンを提案します。
この研究では、コールセンターでのフランス語の会話を集めた DECODA コーパスを使用して、これらの方法を評価しています。
結果は、モデルをタスク関連情報と統合すると、単語の誤り率が変化しても要約の精度が向上することを示しています。

要約(オリジナル)

Dialogue summarization aims to provide a concise and coherent summary of conversations between multiple speakers. While recent advancements in language models have enhanced this process, summarizing dialogues accurately and faithfully remains challenging due to the need to understand speaker interactions and capture relevant information. Indeed, abstractive models used for dialog summarization may generate summaries that contain inconsistencies. We suggest using the semantic information proposed for performing Spoken Language Understanding (SLU) in human-machine dialogue systems for goal-oriented human-human dialogues to obtain a more semantically faithful summary regarding the task. This study introduces three key contributions: First, we propose an exploration of how incorporating task-related information can enhance the summarization process, leading to more semantically accurate summaries. Then, we introduce a new evaluation criterion based on task semantics. Finally, we propose a new dataset version with increased annotated data standardized for research on task-oriented dialogue summarization. The study evaluates these methods using the DECODA corpus, a collection of French spoken dialogues from a call center. Results show that integrating models with task-related information improves summary accuracy, even with varying word error rates.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google