Enhancing Dialogue Generation via Dynamic Graph Knowledge Aggregation

要約

外部グラフの知識をニューラル チャットボット モデルに組み込むことは、対話生成を強化するのに効果的であることが証明されています。
ただし、従来のグラフ ニューラル ネットワーク (GNN) では、グラフ上で受け渡されるメッセージはテキストから独立しているため、グラフ表現の隠れ空間がテキストの隠れ空間とは異なります。
したがって、既存のモデルのこのトレーニング体制は、グラフの知識とテキストの間に意味論的なギャップをもたらします。
この研究では、ナレッジグラフを強化した対話生成のための新しいフレームワークを提案します。
擬似ノードを使用してマルチホップ ナレッジ グラフを動的に構築し、すべてのステップでグラフ内の特徴集約に言語モデルを関与させます。
バニラサブグラフでの学習によって引き起こされる意味論的なバイアスを回避するために、提案されたフレームワークは、擬似ノード上の集約グラフ特徴に階層グラフアテンションを適用し、その後グローバル特徴を獲得します。
したがって、フレームワークは、ポストと外部の両方のグラフ知識からの異種機能をより適切に利用できます。
広範な実験により、私たちのフレームワークが対話生成に関して最先端 (SOTA) ベースラインよりも優れていることが実証されました。
さらに分析を進めると、私たちの表現学習フレームワークがテキストとグラフの両方の知識の表現を凝固させることで意味論的なギャップを埋めることができることも示されています。
さらに、言語モデルは、特徴集約プロセス内でサブグラフ パターンを活用することで、より有益な応答を得るために知識トリプルをより適切に選択する方法も学習します。
コードとリソースは https://github.com/tangg555/SaBART で入手できます。

要約(オリジナル)

Incorporating external graph knowledge into neural chatbot models has been proven effective for enhancing dialogue generation. However, in conventional graph neural networks (GNNs), message passing on a graph is independent from text, resulting in the graph representation hidden space differing from that of the text. This training regime of existing models therefore leads to a semantic gap between graph knowledge and text. In this study, we propose a novel framework for knowledge graph enhanced dialogue generation. We dynamically construct a multi-hop knowledge graph with pseudo nodes to involve the language model in feature aggregation within the graph at all steps. To avoid the semantic biases caused by learning on vanilla subgraphs, the proposed framework applies hierarchical graph attention to aggregate graph features on pseudo nodes and then attains a global feature. Therefore, the framework can better utilise the heterogeneous features from both the post and external graph knowledge. Extensive experiments demonstrate that our framework outperforms state-of-the-art (SOTA) baselines on dialogue generation. Further analysis also shows that our representation learning framework can fill the semantic gap by coagulating representations of both text and graph knowledge. Moreover, the language model also learns how to better select knowledge triples for a more informative response via exploiting subgraph patterns within our feature aggregation process. Our code and resources are available at https://github.com/tangg555/SaBART.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google