PUNR: Pre-training with User Behavior Modeling for News Recommendation

要約

【タイトル】ニュースの推薦のためのユーザー行動モデリングによる事前学習(PUNR)

【要約】
– ニュースの推薦は、ユーザーの行動に基づいてクリックの予測をすることを目的としている。
– ユーザー表現を効果的にモデリングすることが、好ましいニュースの推薦にとって重要である。
– 学習済み言語モデル（PLM）ベースの非監督事前学習方法が、ユーザー表現の最適化に向けた研究が不足している。
– 本研究では、2つのタスク、つまりユーザー行動マスキングとユーザー行動生成の非監督事前学習パラダイムを提案する。
– これらは両方とも、効果的なユーザー行動モデリングに向けたものである。
– まず、ユーザー行動マスキングの事前学習タスクを紹介し、コンテキストに基づいたマスクされたユーザー行動を回復する。
– これにより、モデルはより強力で包括的なユーザーのニュースの読み方のパターンを捉えることができる。
– さらに、補助的なユーザー行動生成の事前学習タスクを取り込んで、ユーザーエンコーダーから派生したユーザー表現ベクトルを強化する。
– 上記の事前学習済みユーザーモデルエンコーダーを用いて、下流の微調整においてニュースとユーザー表現を得る。
– 実世界のニュースベンチマークに対する評価は、既存のベースラインよりも大幅な性能向上を示した。

要約(オリジナル)

News recommendation aims to predict click behaviors based on user behaviors. How to effectively model the user representations is the key to recommending preferred news. Existing works are mostly focused on improvements in the supervised fine-tuning stage. However, there is still a lack of PLM-based unsupervised pre-training methods optimized for user representations. In this work, we propose an unsupervised pre-training paradigm with two tasks, i.e. user behavior masking and user behavior generation, both towards effective user behavior modeling. Firstly, we introduce the user behavior masking pre-training task to recover the masked user behaviors based on their contextual behaviors. In this way, the model could capture a much stronger and more comprehensive user news reading pattern. Besides, we incorporate a novel auxiliary user behavior generation pre-training task to enhance the user representation vector derived from the user encoder. We use the above pre-trained user modeling encoder to obtain news and user representations in downstream fine-tuning. Evaluations on the real-world news benchmark show significant performance improvements over existing baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI