Prompt Learning for News Recommendation

要約

タイトル：ニュース推薦のためのPrompt Learning

要約：最近のニュース推薦方法の中には、事前学習言語モデル（PLM）を導入し、細心の注意を払った推薦専用のニューラルネットワークと目的関数を使ってニュース表現をエンコードするものがあります。しかし、PLMのタスク目的と一致しないため、事前学習プロセスに埋め込まれた豊富な意味情報と言語知識を効果的に活用できていないと主張しています。最近、“pre-train、prompt、and predict” と呼ばれる新しいパラダイム「Prompt Learning」が自然言語処理分野で多数の成功を収めています。本論文では、この新しいパラダイムを使用して、ユーザが候補ニュースをクリックするかどうかを予測するタスクをクローズ形式のマスク予測タスクに変換する「ニュース推薦のためのPrompt Learning」（Prompt4NR）フレームワークの最初の試みを行っています。具体的には、離散的、連続的、ハイブリッドの様々なプロンプトテンプレートを設計し、それぞれの回答空間を構築して、提示4NRフレームワークを検討しています。さらに、複数のプロンプトテンプレートからの予測を統合するために、プロンプトアンサンブリングを使用しています。MINDデータセットでの広範な実験により、本稿のPrompt4NRの有効性が証明され、新しいベンチマーク結果が提供されています。

要点：

– 事前学習言語モデル（PLM）を用いたニュース推薦の現状
– PLMのタスク目的と一致しない問題点
– Prompt Learningのパラダイムの導入
– Prompt4NRフレームワークの概要
– 離散的、連続的、ハイブリッドのプロンプトテンプレート
– プロンプトアンサンブリングによる予測の統合
– MINDデータセットでの実験結果による Prompt4NR の有効性の検証

要約(オリジナル)

Some recent \textit{news recommendation} (NR) methods introduce a Pre-trained Language Model (PLM) to encode news representation by following the vanilla pre-train and fine-tune paradigm with carefully-designed recommendation-specific neural networks and objective functions. Due to the inconsistent task objective with that of PLM, we argue that their modeling paradigm has not well exploited the abundant semantic information and linguistic knowledge embedded in the pre-training process. Recently, the pre-train, prompt, and predict paradigm, called \textit{prompt learning}, has achieved many successes in natural language processing domain. In this paper, we make the first trial of this new paradigm to develop a \textit{Prompt Learning for News Recommendation} (Prompt4NR) framework, which transforms the task of predicting whether a user would click a candidate news as a cloze-style mask-prediction task. Specifically, we design a series of prompt templates, including discrete, continuous, and hybrid templates, and construct their corresponding answer spaces to examine the proposed Prompt4NR framework. Furthermore, we use the prompt ensembling to integrate predictions from multiple prompt templates. Extensive experiments on the MIND dataset validate the effectiveness of our Prompt4NR with a set of new benchmark results.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI