Mitigating Hallucination in Abstractive Summarization with Domain-Conditional Mutual Information

要約

抽象的要約における主な課題は幻覚です。幻覚とは、ソース テキストには存在しないもっともらしいテキストをモデルが生成する現象です。
ソース テキストのドメイン (またはトピック) がモデルをトリガーして、ソース テキストの詳細を無視して、そのドメイン内で可能性の高いテキストを生成すると仮定します。
このモデルのバイアスを軽減するために、領域条件付きの点ごとの相互情報量に基づく復号化戦略を導入します。
この戦略は、ソース テキストのドメイン内のトークンの限界確率と比較することによって、各トークンの生成確率を調整します。
XSUM データセットの評価によれば、私たちの方法は忠実性とソースの関連性の点で改善を示しています。
コードは \url{https://github.com/qqplot/dcpmi} で公開されています。

要約(オリジナル)

A primary challenge in abstractive summarization is hallucination — the phenomenon where a model generates plausible text that is absent in the source text. We hypothesize that the domain (or topic) of the source text triggers the model to generate text that is highly probable in the domain, neglecting the details of the source text. To alleviate this model bias, we introduce a decoding strategy based on domain-conditional pointwise mutual information. This strategy adjusts the generation probability of each token by comparing it with the token’s marginal probability within the domain of the source text. According to evaluation on the XSUM dataset, our method demonstrates improvement in terms of faithfulness and source relevance. The code is publicly available at \url{https://github.com/qqplot/dcpmi}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google