CADGE: Context-Aware Dialogue Generation Enhanced with Graph-Structured Knowledge Aggregation

要約

常識的な知識は、多くの自然言語処理タスクにとって非常に重要です。
既存の作品は通常、従来のグラフ ニューラル ネットワーク (GNN) を使用してグラフの知識を組み込んでおり、テキストとグラフの知識のエンコード プロセスがシリアル パイプラインで分離されています。
私たちは、これらの個別の表現学習段階は、両方のタイプの入力知識に含まれる全体的なコンテキストを学習するニューラル ネットワークにとって最適ではない可能性があると主張します。
この論文では、コンテキスト強化された知識集約プロセスに基づいて、関連するナレッジ グラフのグローバルな特徴を効果的に組み込むことができる、新しいコンテキストアウェア グラフ アテンション モデル (コンテキストアウェア GAT) を提案します。
具体的には、私たちのフレームワークは、平坦化されたグラフの知識とテキストを組み合わせて、異種の特徴を処理するための新しい表現学習アプローチを活用しています。
私たちの知る限り、これは、常識的な対話の生成をサポートするために、コンテキスト情報に加えて、接続されたサブグラフにグラフ知識の集約を階層的に適用する最初の試みです。
このフレームワークは、従来の GNN ベースの言語フレームワークと比較して優れたパフォーマンスを示します。
自動評価と人間による評価の両方で、私たちが提案したモデルが最先端のベースラインよりも大幅にパフォーマンスが向上していることが実証されています。

要約(オリジナル)

Commonsense knowledge is crucial to many natural language processing tasks. Existing works usually incorporate graph knowledge with conventional graph neural networks (GNNs), leading to the text and graph knowledge encoding processes being separated in a serial pipeline. We argue that these separate representation learning stages may be suboptimal for neural networks to learn the overall context contained in both types of input knowledge. In this paper, we propose a novel context-aware graph-attention model (Context-aware GAT), which can effectively incorporate global features of relevant knowledge graphs based on a context-enhanced knowledge aggregation process. Specifically, our framework leverages a novel representation learning approach to process heterogeneous features – combining flattened graph knowledge with text. To the best of our knowledge, this is the first attempt at hierarchically applying graph knowledge aggregation on a connected subgraph in addition to contextual information to support commonsense dialogue generation. This framework shows superior performance compared to conventional GNN-based language frameworks. Both automatic and human evaluation demonstrates that our proposed model has significant performance uplifts over state-of-the-art baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google