KnowPrefix-Tuning: A Two-Stage Prefix-Tuning Framework for Knowledge-Grounded Dialogue Generation

要約

既存の知識ベースの会話システムは、通常、検索してから生成する方法で応答を生成します。
これらには大規模な知識ベースと強力な知識検索コンポーネントが必要ですが、これには時間とリソースがかかります。
このペーパーでは、事前トレーニングされた言語モデル (PLM) にエンコードされた固有の知識を活用して、この課題に取り組みます。
我々は、軽量のナレッジ プレフィックスに事前知識を注入することで、知識ベースの会話システムにおける検索プロセスをバイパスする、2 段階のチューニング フレームワークであるナレッジブル プレフィックス チューニング (KnowPrefix-Tuning) を提案します。
知識プレフィックスは、トレーニング中に学習できる一連の連続した知識固有のベクトルです。
さらに、応答生成の最適化中にプレフィックスが PLM と完全に対話できるようにする、新しい対話型の再パラメータ化メカニズムを提案します。
実験結果は、KnowPrefix-Tuning が微調整やその他の軽量な調整アプローチよりも優れたパフォーマンスを示し、推論中に 3 倍高速でありながら、強力な検索ベースのベースラインと同等のパフォーマンスを発揮することを示しています。

要約(オリジナル)

Existing knowledge-grounded conversation systems generate responses typically in a retrieve-then-generate manner. They require a large knowledge base and a strong knowledge retrieval component, which is time- and resource-consuming. In this paper, we address the challenge by leveraging the inherent knowledge encoded in the pre-trained language models (PLMs). We propose Knowledgeable Prefix Tuning (KnowPrefix-Tuning), a two-stage tuning framework, bypassing the retrieval process in a knowledge-grounded conversation system by injecting prior knowledge into the lightweight knowledge prefix. The knowledge prefix is a sequence of continuous knowledge-specific vectors that can be learned during training. In addition, we propose a novel interactive re-parameterization mechanism that allows the prefix to interact fully with the PLM during the optimization of response generation. Experimental results demonstrate that KnowPrefix-Tuning outperforms fine-tuning and other lightweight tuning approaches, and performs comparably with strong retrieval-based baselines while being $3\times$ faster during inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google