A Cause-Effect Look at Alleviating Hallucination of Knowledge-grounded Dialogue Generation

要約

事前に学習された大規模な言語モデルにより、既存の対話システムは、流暢で自然な会話を行う素晴らしい性能を示してきた。しかし、生成された応答に予測不可能な事実誤認を引き起こす幻覚問題に悩まされている。最近、知識ベースの対話生成モデルが、意図的に外部の知識資源を呼び出して、より有益な応答を生成することで、幻覚を減らすのに効果的であることが証明された。質の高い知識を得るという考え方に従って、いくつかの取り組みがこの問題に関してかなり良い成果を上げている。いくつかの不可避な知識ノイズも幻覚を引き起こす可能性があるため、KGDタスクにおいてノイズ耐性手法を構築するための理由と将来の方向性を調査することが急務である。本論文では、この問題の背後にある因果的なストーリーを反実仮想推論手法を用いて分析する。因果効果分析に基づき、対話と知識の相互作用を利用することで、KGDにおける幻覚を緩和するための可能な解決策を提案する。我々の実装例の実験結果から、この方法は、異なる世代モデルへの適応性を保ちつつ、他の対話性能を阻害することなく幻覚を軽減できることが示された。我々の取り組みが、ロバストで信頼性の高い対話システムに向けた軽量技術の開発を支援し、より多くの注目を集めることを期待する。

要約(オリジナル)

Empowered by the large-scale pretrained language models, existing dialogue systems have demonstrated impressive performance conducting fluent and natural-sounding conversations. However, they are still plagued by the hallucination problem, causing unpredictable factual errors in the generated responses. Recently, knowledge-grounded dialogue generation models, that intentionally invoke external knowledge resources to more informative responses, are also proven to be effective in reducing hallucination. Following the idea of getting high-quality knowledge, a few efforts have achieved pretty good performance on this issue. As some inevitable knowledge noises may also lead to hallucinations, it is emergent to investigate the reason and future directions for building noise-tolerant methods in KGD tasks. In this paper, we analyze the causal story behind this problem with counterfactual reasoning methods. Based on the causal effect analysis, we propose a possible solution for alleviating the hallucination in KGD by exploiting the dialogue-knowledge interaction. Experimental results of our example implementation show that this method can reduce hallucination without disrupting other dialogue performance, while keeping adaptive to different generation models. We hope our efforts can support and call for more attention to developing lightweight techniques towards robust and trusty dialogue systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL