Well Begun is Half Done: Generator-agnostic Knowledge Pre-Selection for Knowledge-Grounded Dialogue

要約

知識に基づいた対話システムでは、正確な知識の選択が重要です。
それをより詳しく見るために、私たちは既存の文献を整理するための新しい視点、つまり世代前、世代後、世代前と組み合わせた知識の選択を提供します。
私たちは、まだ研究が進んでいない 3 番目の研究カテゴリに焦点を当てます。このカテゴリは、事前に知識を正確に選択できるだけでなく、その後の応答生成モデル、特に LLM の学習、調整、解釈の負担を軽減するという利点があります。
我々は、異なる知識構造と可変の知識要件の中からコンテキスト関連の知識を選択することによって、後続の応答生成モデル用の知識を準備するための、生成器に依存しない知識選択手法であるGATEを提案します。
実験結果は、GATE の優位性を実証し、生成前の知識選択が、LLM (例: ChatGPT) がより有益な応答を生成できるようにする軽量かつ効果的な方法であることを示しています。

要約(オリジナル)

Accurate knowledge selection is critical in knowledge-grounded dialogue systems. Towards a closer look at it, we offer a novel perspective to organize existing literature, i.e., knowledge selection coupled with, after, and before generation. We focus on the third under-explored category of study, which can not only select knowledge accurately in advance, but has the advantage to reduce the learning, adjustment, and interpretation burden of subsequent response generation models, especially LLMs. We propose GATE, a generator-agnostic knowledge selection method, to prepare knowledge for subsequent response generation models by selecting context-related knowledge among different knowledge structures and variable knowledge requirements. Experimental results demonstrate the superiority of GATE, and indicate that knowledge selection before generation is a lightweight yet effective way to facilitate LLMs (e.g., ChatGPT) to generate more informative responses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google