Evaluating the Tradeoff Between Abstractiveness and Factuality in Abstractive Summarization

要約

【タイトル】- 抽象性と事実性のトレードオフを抽象的要約で評価する
【要約】- 抽象的要約のためのニューラルモデルは、生成される出力が滑らかで形式的である一方で、入力文書との意味的な忠実度、つまり事実性を欠く傾向があります。本論文では、多数のデータセットとモデルにわたる事実性の人間評価を行い、生成された要約の抽象性と事実性のトレードオフを分析します。分析では、デコーディング制約を使用して徐々に抽象性を高めた場合の事実性の変化率を可視化し、抽象性の増加が一般的に事実性の低下につながる一方で、システムのトレーニングに使用されたデータなど、事実性の減衰率は要因に依存することを観察します。抽象度の異なる10,200個の要約を持つ人間の事実性判断のデータセットと、5つの異なる要約モデルから4,200の要約を持つデータセットを導入します。私たちは抽象度の程度に応じて調整された新しい事実性メトリックを提案し、それらを使用して以前の要約作品の抽象度に応じて調整された事実性を比較し、将来の作品に向けた基準を提供します。

– 抽象的要約のニューラルモデルは、入力ドキュメントとの事実性の欠如の傾向がある
– 本研究は、生成された要約の抽象度と事実性のトレードオフを分析することを目的としている
– 抽象度の増加が一般的に事実性の低下につながる一方で、事実性の減衰率は状況に依存することが観察された
– 10,200個の要約を持つデータセットと、5つの異なるモデルから4,200の要約を持つデータセットを導入
– 抽象度に応じて調整された新しい事実性メトリックを提案し、以前の要約作品の事実性を比較する
– 本研究は、今後の抽象的要約の基準を提供する

要約(オリジナル)

Neural models for abstractive summarization tend to generate output that is fluent and well-formed but lacks semantic faithfulness, or factuality, with respect to the input documents. In this paper, we analyze the tradeoff between abstractiveness and factuality of generated summaries across multiple datasets and models, using extensive human evaluations of factuality. In our analysis, we visualize the rates of change in factuality as we gradually increase abstractiveness using a decoding constraint, and we observe that, while increased abstractiveness generally leads to a drop in factuality, the rate of factuality decay depends on factors such as the data that the system was trained on. We introduce two datasets with human factuality judgements; one containing 10.2k generated summaries with systematically varied degrees of abstractiveness; the other containing 4.2k summaries from five different summarization models. We propose new factuality metrics that adjust for the degree of abstractiveness, and we use them to compare the abstractiveness-adjusted factuality of previous summarization works, providing baselines for future work.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI