CADGE: Context-Aware Dialogue Generation Enhanced with Graph-Structured Knowledge Aggregation

要約

タイトル：CADGE：グラフ構造化の知識集約を強化したコンテキストに敏感な対話生成

要約：
– コモンセンス（常識）の知識は多くの自然言語処理タスクに必要である。
– 既存の研究では、グラフ知識は従来のグラフニューラルネットワーク（GNN）に組み込まれ、テキストとグラフの知識エンコーディングのプロセスが直列のパイプラインで分離される。
– 両方のタイプの入力知識に含まれる全体的な文脈をニューラルネットワークが学習するためには、これらの分離された表現学習段階は最適ではないと主張する。
– 本論文では、文脈に敏感なグラフ注意モデル（Context-aware GAT）を提案し、コンテキストに強化された知識集約プロセスに基づいて関連する知識グラフのグローバルフィーチャーを効果的に組み込むことができる。
– 具体的には、本フレームワークは異種のフィーチャーを処理するための新しい表現学習手法を活用して、平坦化されたグラフ知識とテキストを組み合わせる。
– 本研究は、コンテキスト情報に加えてグラフ知識集約を階層的に適用してコモンセンス対話生成を支援する初めての試みである。
– このフレームワークは従来のGNNベースの言語フレームワークと比較して優れた性能を示し、自動評価と人間の評価の両方で最先端のベースラインよりも性能が向上していることが示されている。

要約(オリジナル)

Commonsense knowledge is crucial to many natural language processing tasks. Existing works usually incorporate graph knowledge with conventional graph neural networks (GNNs), leading to the text and graph knowledge encoding processes being separated in a serial pipeline. We argue that these separate representation learning stages may be suboptimal for neural networks to learn the overall context contained in both types of input knowledge. In this paper, we propose a novel context-aware graph-attention model (Context-aware GAT), which can effectively incorporate global features of relevant knowledge graphs based on a context-enhanced knowledge aggregation process. Specifically, our framework leverages a novel representation learning approach to process heterogeneous features – combining flattened graph knowledge with text. To the best of our knowledge, this is the first attempt at hierarchically applying graph knowledge aggregation on a connected subgraph in addition to contextual information to support commonsense dialogue generation. This framework shows superior performance compared to conventional GNN-based language frameworks. Both automatic and human evaluation demonstrates that our proposed model has significant performance uplifts over state-of-the-art baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI