Context Retrieval via Normalized Contextual Latent Interaction for Conversational Agent

要約

AI、特にディープラーニングを活用した会話エージェントは、学術研究と実世界のアプリケーションの両方で出現している。しかし、これらのアプリケーションは、知識や事実を軽視している、ユーザーの好みにパーソナライズされていない、学習や推論の際に計算リソースが膨大に要求されるなどの課題に依然として直面している。最近の研究努力は、会話エージェントに様々なタイプの補助情報を補足することを含む、様々な側面からこれらの課題に対処することに集中している。しかし、既存の手法では、会話エージェントとそれらが使用する言語モデルの能力をさらに引き出すために、これらの補助情報から関連情報を効果的かつ効率的に利用することはまだできない。本論文では、ペルソナ、チャット履歴、知識背景の関連性を、低レベルの正規化された文脈潜在的相互作用を通して学習することにより、会話応答の質を向上させるために、関連する補助情報を正確かつ効率的に識別することができる新しい手法、PK-NCLIを紹介する。実験の結果、PK-NCLIは、最新手法であるPK-FoCusを、複雑度、知識素性、学習効率において、それぞれ47.80%/30.61%/24.14%上回り、ペルソナ素性についても同程度の性能を維持した。また、言語モデルの選択や学習の重みのトレードオフなど、様々な要因がPK-NCLIの性能にどのような影響を与えるかについて詳細な分析を行った。

要約(オリジナル)

Conversational agents leveraging AI, particularly deep learning, are emerging in both academic research and real-world applications. However, these applications still face challenges, including disrespecting knowledge and facts, not personalizing to user preferences, and enormous demand for computational resources during training and inference. Recent research efforts have been focused on addressing these challenges from various aspects, including supplementing various types of auxiliary information to the conversational agents. However, existing methods are still not able to effectively and efficiently exploit relevant information from these auxiliary supplements to further unleash the power of the conversational agents and the language models they use. In this paper, we present a novel method, PK-NCLI, that is able to accurately and efficiently identify relevant auxiliary information to improve the quality of conversational responses by learning the relevance among persona, chat history, and knowledge background through low-level normalized contextual latent interaction. Our experimental results indicate that PK-NCLI outperforms the state-of-the-art method, PK-FoCus, by 47.80%/30.61%/24.14% in terms of perplexity, knowledge grounding, and training efficiency, respectively, and maintained the same level of persona grounding performance. We also provide a detailed analysis of how different factors, including language model choices and trade-offs on training weights, would affect the performance of PK-NCLI.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL