Building Knowledge-Grounded Dialogue Systems with Graph-Based Semantic Modeling

要約

知識に基づく対話タスクは、与えられた知識文書から情報を伝える応答を生成することを目的としています。
しかし、現在のシーケンスベースのモデルにとって、明示的な意味構造の助けを借りずに、複雑なドキュメントから知識を取得し、それを統合して正しい応答を実行することは困難です。
これらの問題に対処するために、我々は、知識に基づいた対話生成のための知識の選択と統合を容易にするために、対話と知識の両方の意味構造をモデル化する新しいグラフ構造であるグラウンデッド・グラフ($G^2$)を提案する。
また、知識に基づいた応答生成を強化するために、複数形式の知識 (シーケンシャルとグラフィックの両方) を融合する Grounded Graph Aware Transformer ($G^2AT$) モデルも提案します。
私たちの実験結果は、私たちが提案したモデルが以前の最先端の方法よりも優れており、応答生成で 10\% 以上向上し、事実の一貫性で 20\% 近く改善したことを示しています。
さらに、私たちのモデルは優れた汎化能力と堅牢性を明らかにしています。
意味構造をディープ ニューラル ネットワークの事前知識として組み込むことにより、私たちのモデルは言語生成を支援する効果的な方法を提供します。

要約(オリジナル)

The knowledge-grounded dialogue task aims to generate responses that convey information from given knowledge documents. However, it is a challenge for the current sequence-based model to acquire knowledge from complex documents and integrate it to perform correct responses without the aid of an explicit semantic structure. To address these issues, we propose a novel graph structure, Grounded Graph ($G^2$), that models the semantic structure of both dialogue and knowledge to facilitate knowledge selection and integration for knowledge-grounded dialogue generation. We also propose a Grounded Graph Aware Transformer ($G^2AT$) model that fuses multi-forms knowledge (both sequential and graphic) to enhance knowledge-grounded response generation. Our experiments results show that our proposed model outperforms the previous state-of-the-art methods with more than 10\% gains in response generation and nearly 20\% improvement in factual consistency. Further, our model reveals good generalization ability and robustness. By incorporating semantic structures as prior knowledge in deep neural networks, our model provides an effective way to aid language generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google