GLIMPSE: Pragmatically Informative Multi-Document Summarization for Scholarly Reviews

要約

科学的な査読は、学術出版物の品質にとって不可欠です。
しかし、学会への論文投稿数の増加により、審査プロセスに負担がかかっています。
この急増は、意思決定プロセスの一環として、増え続ける査読の量を注意深く読み、各査読者の主な主張を識別しなければならないエリアチェアに負担をもたらしています。
この論文では、学術レビューの簡潔かつ包括的な概要を提供するように設計された要約手法である \sys を紹介します。
従来のコンセンサスベースの方法とは異なり、\sys はレビューから一般的な意見と独自の意見の両方を抽出します。
Rational Speech Act フレームワークに基づいた新しい独自性スコアを導入し、レビュー内で関連する文章を特定します。
私たちの方法は、すべてのレビューを実用的に垣間見ることができ、意見に対するバランスの取れた視点を提供することを目的としています。
自動メトリクスと人間による評価の両方を使用した実験結果は、人間による評価に関しては \sys がベースライン手法よりも識別力の高い概要を生成する一方、自動メトリクスに関してはこれらの手法と同等のパフォーマンスを達成していることを示しています。

要約(オリジナル)

Scientific peer review is essential for the quality of academic publications. However, the increasing number of paper submissions to conferences has strained the reviewing process. This surge poses a burden on area chairs who have to carefully read an ever-growing volume of reviews and discern each reviewer’s main arguments as part of their decision process. In this paper, we introduce \sys, a summarization method designed to offer a concise yet comprehensive overview of scholarly reviews. Unlike traditional consensus-based methods, \sys extracts both common and unique opinions from the reviews. We introduce novel uniqueness scores based on the Rational Speech Act framework to identify relevant sentences in the reviews. Our method aims to provide a pragmatic glimpse into all reviews, offering a balanced perspective on their opinions. Our experimental results with both automatic metrics and human evaluation show that \sys generates more discriminative summaries than baseline methods in terms of human evaluation while achieving comparable performance with these methods in terms of automatic metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google