LLM4DSR: Leveraing Large Language Model for Denoising Sequential Recommendation

要約

シーケンシャル レコメンデーション システムは基本的に、ユーザーの過去のインタラクション シーケンスに依存しており、ノイズの多いインタラクションによって汚染されることがよくあります。
ノイズを示す明示的な監視信号がないため、追加情報なしでこれらのノイズの多い相互作用を正確に識別することは特に困難です。
大規模言語モデル (LLM) は、広範な公開知識と意味論的推論能力を備えており、この情報ギャップを埋めるための有望な手段となります。
ただし、逐次推奨でノイズ除去に LLM を使用すると、次のような顕著な課題が生じます。1) 事前トレーニングされた LLM を直接適用すると、ノイズ除去タスクに適さない可能性があり、無意味な応答が頻繁に生成されます。
2) 微調整した後でも、特にタスクの複雑さと LLM に固有の幻覚の問題を考慮すると、LLM 出力の信頼性には疑問が残ります。
これらの課題に取り組むために、LLM を使用して逐次レコメンデーションのノイズを除去するためのカスタマイズされたアプローチである LLM4DSR を提案します。
私たちは、ノイズの多いアイテムを特定し、交換品を提案する LLM の機能を有効にする、自己監視型の微調整タスクを構築しました。
さらに、信頼性の高い応答のみがシーケンス修正に利用されることを保証する不確実性推定モジュールを開発しました。
注目すべきことに、LLM4DSR はモデルに依存しないため、修正されたシーケンスをさまざまな推奨モデルに柔軟に適用できます。
広範な実験により、3 つのデータセットと 3 つの推奨バックボーンにわたる既存の手法に対する LLM4DSR の優位性が検証されています。

要約(オリジナル)

Sequential recommendation systems fundamentally rely on users’ historical interaction sequences, which are often contaminated by noisy interactions. Identifying these noisy interactions accurately without additional information is particularly difficult due to the lack of explicit supervisory signals to denote noise. Large Language Models (LLMs), equipped with extensive open knowledge and semantic reasoning abilities, present a promising avenue to bridge this information gap. However, employing LLMs for denoising in sequential recommendation introduces notable challenges: 1) Direct application of pretrained LLMs may not be competent for the denoising task, frequently generating nonsensical responses; 2) Even after fine-tuning, the reliability of LLM outputs remains questionable, especially given the complexity of the task and th inherent hallucinatory issue of LLMs. To tackle these challenges, we propose LLM4DSR, a tailored approach for denoising sequential recommendation using LLMs. We constructed a self-supervised fine-tuning task to activate LLMs’ capabilities to identify noisy items and suggest replacements. Furthermore, we developed an uncertainty estimation module that ensures only high-confidence responses are utilized for sequence corrections. Remarkably, LLM4DSR is model-agnostic, allowing the corrected sequences to be flexibly applied across various recommendation models. Extensive experiments validate the superiority of LLM4DSR over existing methods across three datasets and three recommendation backbones.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google