Faithful Chart Summarization with ChaTS-Pi

要約

グラフから要約の生成は、データの探索、洞察の伝達、視覚障害のある人々の支援に役立ちます。
マルチモーダル生成モデルは流暢な要約を生成するために使用されてきましたが、事実および知覚上の誤りが発生する可能性があります。
この研究では、忠実度をスコアリングするための参照不要のチャート要約メトリックである CHATS-CRITIC を紹介します。
CHATS-CRITIC は、グラフから表​​を復元するための画像からテキストへのモデルと、要約を文ごとにスコアリングするために適用される表形式の含意モデルで構成されます。
CHATS-CRITIC は、学習または N グラムベースの参照ベースの指標よりも人間の評価に基づいて要約の品質を評価し、サポートされていない文を削除することで要約候補を修正するためにさらに使用できることがわかりました。
次に、推論中に CHATS-CRITIC を活用して、グラフ要約モデルからサンプリングされた候補を修正してランク付けする、グラフから要約へのパイプラインである CHATS-PI を紹介します。
私たちは人間の評価者を使用して CHATS-PI と CHATS-CRITIC を評価し、2 つの一般的なチャートからサマリーまでのデータセットで最先端の結果を確立しています。

要約(オリジナル)

Chart-to-summary generation can help explore data, communicate insights, and help the visually impaired people. Multi-modal generative models have been used to produce fluent summaries, but they can suffer from factual and perceptual errors. In this work we present CHATS-CRITIC, a reference-free chart summarization metric for scoring faithfulness. CHATS-CRITIC is composed of an image-to-text model to recover the table from a chart, and a tabular entailment model applied to score the summary sentence by sentence. We find that CHATS-CRITIC evaluates the summary quality according to human ratings better than reference-based metrics, either learned or n-gram based, and can be further used to fix candidate summaries by removing not supported sentences. We then introduce CHATS-PI, a chart-to-summary pipeline that leverages CHATS-CRITIC during inference to fix and rank sampled candidates from any chart-summarization model. We evaluate CHATS-PI and CHATS-CRITIC using human raters, establishing state-of-the-art results on two popular chart-to-summary datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google