Question Generation in Knowledge-Driven Dialog: Explainability and Evaluation

要約

私たちは、説明可能性と評価に焦点を当てた、知識に基づいた対話のコンテキストで質問の生成を検討します。
計画ベースの要約に関する以前の研究に触発されて、質問を直接生成する代わりに、最初に事実を予測し、次に質問を順番に予測するモデルを紹介します。
KGConv データセットから適応された 37,000 個のテスト ダイアログでアプローチを評価し、推論の点ではより要求が厳しいものの、モデルの詳細な参照なしの評価を可能にしながら質問のみを生成する標準モデルと同等のパフォーマンスを発揮することを示しました。
関連性、事実性、代名詞化の観点からの行動。

要約(オリジナル)

We explore question generation in the context of knowledge-grounded dialogs focusing on explainability and evaluation. Inspired by previous work on planning-based summarisation, we present a model which instead of directly generating a question, sequentially predicts first a fact then a question. We evaluate our approach on 37k test dialogs adapted from the KGConv dataset and we show that, although more demanding in terms of inference, our approach performs on par with a standard model which solely generates a question while allowing for a detailed referenceless evaluation of the model behaviour in terms of relevance, factuality and pronominalisation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google