Knowledge Graphs and Pre-trained Language Models enhanced Representation Learning for Conversational Recommender Systems

要約

会話型レコメンダー システム (CRS) は、自然言語の対話と対話履歴を利用してユーザーの好みを推測し、正確な推奨を提供します。
会話のコンテキストと背景知識が限られているため、既存の CRS はナレッジ グラフなどの外部ソースに依存して、相互関係に基づいてコンテキストとモデル エンティティを強化します。
ただし、これらのメソッドはエンティティ内の豊富な固有情報を無視します。
これに対処するために、Knowledge-Enhanced Entity Representation Learning (KERL) フレームワークを導入します。これは、ナレッジ グラフと事前トレーニングされた言語モデルの両方を活用して、CRS のエンティティの意味理解を向上させます。
私たちの KERL フレームワークでは、エンティティのテキスト記述は事前トレーニングされた言語モデルを介してエンコードされ、ナレッジ グラフはこれらのエンティティの表現を強化するのに役立ちます。
また、位置エンコーディングを使用して、会話内のエンティティの時間情報を効果的にキャプチャします。
次に、強化されたエンティティ表現を使用して、エンティティ表現とコンテキスト表現の両方を融合して、より情報に基づいた推奨を実現するレコメンダ コンポーネントと、応答テキスト内に有益なエンティティ関連情報を生成するダイアログ コンポーネントを開発します。
私たちの研究を容易にするために、エンティティの説明が整った高品質のナレッジ グラフ、つまり Wiki Movie Knowledge Graph (WikiMKG) が構築されています。
実験結果は、KERL が推奨タスクと応答生成タスクの両方で最先端の結果を達成することを示しています。

要約(オリジナル)

Conversational recommender systems (CRS) utilize natural language interactions and dialogue history to infer user preferences and provide accurate recommendations. Due to the limited conversation context and background knowledge, existing CRSs rely on external sources such as knowledge graphs to enrich the context and model entities based on their inter-relations. However, these methods ignore the rich intrinsic information within entities. To address this, we introduce the Knowledge-Enhanced Entity Representation Learning (KERL) framework, which leverages both the knowledge graph and a pre-trained language model to improve the semantic understanding of entities for CRS. In our KERL framework, entity textual descriptions are encoded via a pre-trained language model, while a knowledge graph helps reinforce the representation of these entities. We also employ positional encoding to effectively capture the temporal information of entities in a conversation. The enhanced entity representation is then used to develop a recommender component that fuses both entity and contextual representations for more informed recommendations, as well as a dialogue component that generates informative entity-related information in the response text. A high-quality knowledge graph with aligned entity descriptions is constructed to facilitate our study, namely the Wiki Movie Knowledge Graph (WikiMKG). The experimental results show that KERL achieves state-of-the-art results in both recommendation and response generation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google