Multi-Grained Knowledge Retrieval for End-to-End Task-Oriented Dialog

要約

外部データベースから適切なドメイン知識を取得することは、有益な応答を生成するためのエンドツーエンドのタスク指向ダイアログ システムの中心にあります。
既存のシステムのほとんどは、知識の検索と応答の生成を融合し、参照応答からの直接監視によってそれらを最適化するため、知識ベースが大規模になると検索パフォーマンスが最適化されません。
これに対処するために、ナレッジ検索を応答生成から分離し、関連するエンティティを検索するエンティティ セレクターと無関係な属性をフィルタリングする属性セレクターを含むマルチグレイン ナレッジ リトリーバー (MAKER) を導入することを提案します。
レトリーバーを訓練するために、応答ジェネレーターから監視信号を引き出す新しい蒸留目標を提案します。
小規模および大規模の知識ベースの両方を使用して 3 つの標準ベンチマークで実行された実験は、当社の検索ツールが既存の方法よりも効率的に知識検索を実行することを示しています。
私たちのコードは公開されています。\footnote{https://github.com/18907305772/MAKER}

要約(オリジナル)

Retrieving proper domain knowledge from an external database lies at the heart of end-to-end task-oriented dialog systems to generate informative responses. Most existing systems blend knowledge retrieval with response generation and optimize them with direct supervision from reference responses, leading to suboptimal retrieval performance when the knowledge base becomes large-scale. To address this, we propose to decouple knowledge retrieval from response generation and introduce a multi-grained knowledge retriever (MAKER) that includes an entity selector to search for relevant entities and an attribute selector to filter out irrelevant attributes. To train the retriever, we propose a novel distillation objective that derives supervision signals from the response generator. Experiments conducted on three standard benchmarks with both small and large-scale knowledge bases demonstrate that our retriever performs knowledge retrieval more effectively than existing methods. Our code has been made publicly available.\footnote{https://github.com/18907305772/MAKER}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google