Do You Hear The People Sing? Key Point Analysis via Iterative Clustering and Abstractive Summarisation

要約

議論の要約は有望な分野ですが、現在は十分に研究されていません。
最近の研究は、キー ポイント分析 (KPA) として知られるタスクで、簡潔で顕著な短いテキスト、つまりキー ポイント (KP) の形式でテキストの要約を提供することを目的としています。
KPA の主な課題の 1 つは、たとえ小規模なコーパスであっても、数十の議論から高品質のキーポイント候補を見つけることです。
さらに、自動生成された概要が有用であることを確認するには、重要なポイントを評価することが重要です。
要約を自動評価する方法はここ数年で大幅に進歩しましたが、主に文レベルの比較に焦点を当てているため、全体として要約 (KP セット) の品質を測定することが困難になっています。
この問題をさらに悪化させるのは、人間による評価にはコストがかかり、再現性がないという事実です。
上記の問題に対処するために、人間がキーポイントを識別する方法と一致するキーポイントを生成するために、反復クラスタリング手順を使用したニューラルトピックモデリングに基づく 2 段階の抽象的要約フレームワークを提案します。
私たちの実験では、ROUGE と私たちが提案した評価指標の両方の観点から、私たちのフレームワークが KPA の最先端を進歩させ、パフォーマンスが最大 14 (絶対) パーセント向上することがわかりました。
さらに、新しいセットベースの評価ツールキットを使用して、生成された概要を評価します。
私たちの定量的分析は、生成された KP の品質を評価する際の、私たちが提案した評価指標の有効性を実証しています。
人間による評価は、私たちのアプローチの利点をさらに実証し、私たちが提案した評価指標が ROUGE スコアよりも人間の判断とより一致していることを検証します。

要約(オリジナル)

Argument summarisation is a promising but currently under-explored field. Recent work has aimed to provide textual summaries in the form of concise and salient short texts, i.e., key points (KPs), in a task known as Key Point Analysis (KPA). One of the main challenges in KPA is finding high-quality key point candidates from dozens of arguments even in a small corpus. Furthermore, evaluating key points is crucial in ensuring that the automatically generated summaries are useful. Although automatic methods for evaluating summarisation have considerably advanced over the years, they mainly focus on sentence-level comparison, making it difficult to measure the quality of a summary (a set of KPs) as a whole. Aggravating this problem is the fact that human evaluation is costly and unreproducible. To address the above issues, we propose a two-step abstractive summarisation framework based on neural topic modelling with an iterative clustering procedure, to generate key points which are aligned with how humans identify key points. Our experiments show that our framework advances the state of the art in KPA, with performance improvement of up to 14 (absolute) percentage points, in terms of both ROUGE and our own proposed evaluation metrics. Furthermore, we evaluate the generated summaries using a novel set-based evaluation toolkit. Our quantitative analysis demonstrates the effectiveness of our proposed evaluation metrics in assessing the quality of generated KPs. Human evaluation further demonstrates the advantages of our approach and validates that our proposed evaluation metric is more consistent with human judgment than ROUGE scores.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google