UniMS-RAG: A Unified Multi-source Retrieval-Augmented Generation for Personalized Dialogue Systems

要約

大規模言語モデル (LLM) は、多くの自然言語の理解および生成タスクにおいて優れた機能を示しています。
しかし、特に対話システムに関与する複数の情報源に関しては、パーソナライゼーションの問題は依然として切望されています。
パーソナライズされた応答を生成する際に複数のソースの使用をより適切に計画し、組み込むために、まずそれを 3 つのサブタスク (知識ソースの選択、知識の検索、および応答の生成) に分解します。
次に、新しい統合マルチソース検索拡張生成システム (UniMS-RAG) を提案します。具体的には、トレーニング中に、異なる定式化を持つこれら 3 つのサブタスクを同じシーケンス対シーケンスのパラダイムに統合し、適応的に証拠を取得して評価します。
動作トークンと評価トークンと呼ばれる特別なトークンを使用して、オンデマンドで関連性を確認します。
言語モデルが動作トークンを生成できるようにすると、さまざまな知識ソースとの対話が容易になり、その動作をさまざまなタスク要件に適応させることができます。
一方、評価トークンは、対話のコンテキストと取得された証拠の間の関連性スコアを測定します。
さらに、1) 生成された応答と取得された証拠の間の一貫性スコア、2) 生成された応答と取得された証拠の間の一貫性スコア、2) を考慮して、生成された応答を反復的に改良するための自己改良メカニズムを慎重に設計します。
2) 関連性スコア。
2 つのパーソナライズされたデータセット (DuLeMon と KBP) での実験では、UniMS-RAG が統合された方法で取得者としての知識ソースの選択と応答生成タスクにおいて最先端のパフォーマンスを達成することが示されています。
パーソナライズされた対話システムに新しい視点をもたらすために、広範な分析と議論が提供されます。

要約(オリジナル)

Large Language Models (LLMs) has shown exceptional capabilities in many natual language understanding and generation tasks. However, the personalization issue still remains a much-coveted property, especially when it comes to the multiple sources involved in the dialogue system. To better plan and incorporate the use of multiple sources in generating personalized response, we firstly decompose it into three sub-tasks: Knowledge Source Selection, Knowledge Retrieval, and Response Generation. We then propose a novel Unified Multi-Source Retrieval-Augmented Generation system (UniMS-RAG) Specifically, we unify these three sub-tasks with different formulations into the same sequence-to-sequence paradigm during the training, to adaptively retrieve evidences and evaluate the relevance on-demand using special tokens, called acting tokens and evaluation tokens. Enabling language models to generate acting tokens facilitates interaction with various knowledge sources, allowing them to adapt their behavior to diverse task requirements. Meanwhile, evaluation tokens gauge the relevance score between the dialogue context and the retrieved evidence. In addition, we carefully design a self-refinement mechanism to iteratively refine the generated response considering 1) the consistency scores between the generated response and retrieved evidence; and 2) the relevance scores. Experiments on two personalized datasets (DuLeMon and KBP) show that UniMS-RAG achieves state-of-the-art performance on the knowledge source selection and response generation task with itself as a retriever in a unified manner. Extensive analyses and discussions are provided for shedding some new perspectives for personalized dialogue systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google