Automatically Evaluating Opinion Prevalence in Opinion Summarization

要約

多数の製品レビューに直面したとき、人間がそれらすべてを記憶し、代表的な意見を重み付けして適切な参考資料の要約を作成できるかどうかは明らかではありません。
私たちは、概要内の各記述と一致するレビューの数をカウントすることに基づいて、概要が表現する意見の普及率をテストする一方で、些細なまたは冗長な記述の信用を落とすための自動測定基準を提案します。
この意見普及率の指標を定式化するために、個々の情報源レビューに関する要約ステートメントの事実の一貫性をスコアリングするいくつかの既存の方法を検討します。
Amazon 製品レビューのコーパスでは、意見の一貫性に関する人間による複数の判断を収集し、製品レビューの一貫性を最もよく表す自動指標を決定します。
結果として得られる意見普及率の指標を使用すると、人間が作成した要約の意見普及率は、ソースレビューからランダムに選択した抽出よりもわずかに優れているだけであり、以前の抽出的および抽象的な教師なし意見要約手法のパフォーマンスは人間よりも悪いことがわかります。
私たちは、人間が達成した意見の普及率の 2 倍を誇る抽出的な要約を貪欲に構築することで、改善の余地があることを示しています。
最後に、単純化によってソースレビューを前処理することで、既存の抽象的な意見要約システムによって達成される意見の普及率を人間のパフォーマンスのレベルまで高めることができることを示します。

要約(オリジナル)

When faced with a large number of product reviews, it is not clear that a human can remember all of them and weight opinions representatively to write a good reference summary. We propose an automatic metric to test the prevalence of the opinions that a summary expresses, based on counting the number of reviews that are consistent with each statement in the summary, while discrediting trivial or redundant statements. To formulate this opinion prevalence metric, we consider several existing methods to score the factual consistency of a summary statement with respect to each individual source review. On a corpus of Amazon product reviews, we gather multiple human judgments of the opinion consistency, to determine which automatic metric best expresses consistency in product reviews. Using the resulting opinion prevalence metric, we show that a human authored summary has only slightly better opinion prevalence than randomly selected extracts from the source reviews, and previous extractive and abstractive unsupervised opinion summarization methods perform worse than humans. We demonstrate room for improvement with a greedy construction of extractive summaries with twice the opinion prevalence achieved by humans. Finally, we show that preprocessing source reviews by simplification can raise the opinion prevalence achieved by existing abstractive opinion summarization systems to the level of human performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google