Tackling Hallucinations in Neural Chart Summarization

要約

テキスト生成における幻覚は、システムが入力に基づいていないテキストを生成するときに発生します。
この研究では、ニューラル チャートの要約における幻覚の問題に取り組みます。
私たちの分析によると、チャート要約トレーニング データセットのターゲット側には、幻覚を引き起こす追加情報が含まれていることがよくあります。
私たちは、トレーニング データを前処理するための自然言語推論 (NLI) ベースの方法を提案し、人間の評価を通じて私たちの方法が幻覚を大幅に軽減することを示します。
また、入力シーケンス内の長距離依存関係を短縮し、タイトルや凡例などのチャート関連情報を追加すると、全体的なパフォーマンスが向上することもわかりました。

要約(オリジナル)

Hallucinations in text generation occur when the system produces text that is not grounded in the input. In this work, we tackle the problem of hallucinations in neural chart summarization. Our analysis shows that the target side of chart summarization training datasets often contains additional information, leading to hallucinations. We propose a natural language inference (NLI) based method to preprocess the training data and show through human evaluation that our method significantly reduces hallucinations. We also found that shortening long-distance dependencies in the input sequence and adding chart-related information like title and legends improves the overall performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google