Improving Factual Accuracy of Neural Table-to-Text Output by Addressing Input Problems in ToTTo

要約

ニューラルの表からテキストへのモデルは幻覚を起こす傾向があり、事実上の誤りを含むテキストが生成されます。
このような出力エラーが入力の問題に起因するかどうかを調査します。
ToTTo データセットの政治ドメイン内の複数のモデルによって生成された 1,837 個のテキストに手動で注釈を付けました。
多くの出力エラーの原因となる入力の問題を特定し、これらの入力を修正すると事実上のエラーが 52% ～ 76% (モデルに応じて) 減少することを示します。
さらに、モデルが非標準的な方法で構造化された表形式の入力を処理するのに苦労することが観察されています。特に、入力に明確な行と列の値が欠けている場合、または列ヘッダーが対応する値に正しくマッピングされていない場合です。

要約(オリジナル)

Neural Table-to-Text models tend to hallucinate, producing texts that contain factual errors. We investigate whether such errors in the output can be traced back to problems with the input. We manually annotated 1,837 texts generated by multiple models in the politics domain of the ToTTo dataset. We identify the input problems that are responsible for many output errors and show that fixing these inputs reduces factual errors by between 52% and 76% (depending on the model). In addition, we observe that models struggle in processing tabular inputs that are structured in a non-standard way, particularly when the input lacks distinct row and column values or when the column headers are not correctly mapped to corresponding values.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google