The Factual Inconsistency Problem in Abstractive Text Summarization: A Survey

要約

タイトル：アブストラクティブテキスト要約における事実的不一致問題：調査

要約：
– Seq2Seqフレームワークによって先駆的に提案されたさまざまなニューラルエンコーダーデコーダーモデルがある。
– これらのモデルは、入力テキストを出力テキストにマップする学習により、より抽象的な要約を生成する目標を達成するために提案されたものである。
– これらのニューラルモデルは単語やフレーズの使用に制約がなく、人が編集した要約にもっと近く、出力はより読みやすく流暢であることが特徴。
– しかし、ニューラルモデルの抽象化能力は、二重の刃であることが多い。
– 生成された要約でよく見られる問題は、記事内の事実情報の歪曲または捏造である。
– このオリジナルテキストとサマリーの不一致は、その適用性に関するさまざまな懸念を引き起こし、テキスト要約の以前の評価方法は、この問題に適していない。
– これに対応するために、現在の研究方向は、事実的不一致エラーのない出力を選択するための事実に対応した評価メトリックの設計と、事実的一致に向けた新しい要約システムの開発の2つに主に分かれている。
– この調査では、これらの事実に特化した評価方法とテキスト要約モデルの包括的なレビューを提供することに焦点を当てている。

要約(オリジナル)

Recently, various neural encoder-decoder models pioneered by Seq2Seq framework have been proposed to achieve the goal of generating more abstractive summaries by learning to map input text to output text. At a high level, such neural models can freely generate summaries without any constraint on the words or phrases used. Moreover, their format is closer to human-edited summaries and output is more readable and fluent. However, the neural model’s abstraction ability is a double-edged sword. A commonly observed problem with the generated summaries is the distortion or fabrication of factual information in the article. This inconsistency between the original text and the summary has caused various concerns over its applicability, and the previous evaluation methods of text summarization are not suitable for this issue. In response to the above problems, the current research direction is predominantly divided into two categories, one is to design fact-aware evaluation metrics to select outputs without factual inconsistency errors, and the other is to develop new summarization systems towards factual consistency. In this survey, we focus on presenting a comprehensive review of these fact-specific evaluation methods and text summarization models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI