Instructive Dialogue Summarization with Query Aggregations

要約

従来の対話要約手法は、要約を直接生成するものであり、ユーザーの特定の興味を考慮していませんでした。
これは、ユーザーが特定のトピックや側面に重点を置いている場合に課題を引き起こします。
命令微調整言語モデルの進歩に伴い、対話に命令調整を導入し、対話要約モデルの機能セットを拡張します。
有益な対話要約データの不足を克服するために、高品質のクエリベースの要約トリプルを合成するための 3 段階のアプローチを提案します。
このプロセスには、概要にアンカーされたクエリの生成、クエリのフィルタリング、およびクエリベースの概要の生成が含まれます。
InstructDS (Instructive Dialogue Summarization) と呼ばれる統合モデルを、多目的の指導トリプルを備えた 3 つの要約データセットでトレーニングすることにより、対話要約モデルの機能を拡張します。
対話の要約と対話の読解を含む 4 つのデータセットでメソッドを評価します。
実験結果は、私たちのアプローチが最先端のモデルやさらに大きなサイズのモデルよりも優れていることを示しています。
さらに、人間の主観的な評価によって確認されたように、私たちのモデルはより高い一般化性と忠実性を示します。

要約(オリジナル)

Conventional dialogue summarization methods directly generate summaries and do not consider user’s specific interests. This poses challenges in cases where the users are more focused on particular topics or aspects. With the advancement of instruction-finetuned language models, we introduce instruction-tuning to dialogues to expand the capability set of dialogue summarization models. To overcome the scarcity of instructive dialogue summarization data, we propose a three-step approach to synthesize high-quality query-based summarization triples. This process involves summary-anchored query generation, query filtering, and query-based summary generation. By training a unified model called InstructDS (Instructive Dialogue Summarization) on three summarization datasets with multi-purpose instructive triples, we expand the capability of dialogue summarization models. We evaluate our method on four datasets, including dialogue summarization and dialogue reading comprehension. Experimental results show that our approach outperforms the state-of-the-art models and even models with larger sizes. Additionally, our model exhibits higher generalizability and faithfulness, as confirmed by human subjective evaluations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google