Graph vs. Sequence: An Empirical Study on Knowledge Forms for Knowledge-Grounded Dialogue

要約

知識に基づく対話は、対話履歴と外部知識源の両方に基づいて有益な応答を生成するタスクです。
一般に、ナレッジには 2 つの形式があります。手動で注釈が付けられたナレッジ グラフと、Web サイトからのナレッジ テキストです。
さまざまな評価の観点から、それぞれの知識にはメリットとデメリットがあります。
原理と決定要因を複雑な要因からさらに区別するために、私たちは 3 つの重要な質問に答えるためのタスクについて徹底的な実験と研究を実施します。
質問には、適切な知識形式の選択、知識とモデルの選択の間の相互影響の程度、および知識の少数ショットのパフォーマンスが含まれます。
統計的証拠の断片に裏付けられた私たちは、将来の研究の方向性と基準について、決定的な解決策と賢明な提案を提供します。

要約(オリジナル)

Knowledge-grounded dialogue is a task of generating an informative response based on both the dialogue history and external knowledge source. In general, there are two forms of knowledge: manually annotated knowledge graphs and knowledge text from website. From various evaluation viewpoints, each type of knowledge has advantages and downsides. To further distinguish the principles and determinants from the intricate factors, we conduct a thorough experiment and study on the task to answer three essential questions. The questions involve the choice of appropriate knowledge form, the degree of mutual effects between knowledge and the model selection, and the few-shot performance of knowledge. Supported by statistical shreds of evidence, we offer conclusive solutions and sensible suggestions for directions and standards of future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google