Molar: Multimodal LLMs with Collaborative Filtering Alignment for Enhanced Sequential Recommendation

要約

逐次推奨 (SR) システムは過去 10 年間で大幅に進化し、従来の協調フィルタリングから深層学習アプローチ、そして最近では大規模言語モデル (LLM) に移行しています。
LLM の採用により大幅な進歩が見られましたが、これらのモデルには本質的に協調フィルタリング情報が不足しており、主にテキスト コンテンツ データに依存し、他のモダリティを無視しているため、最適な推奨パフォーマンスを達成できません。
この制限に対処するために、私たちは、複数のコンテンツ モダリティを ID 情報と統合して協調的なシグナルを効果的にキャプチャするマルチモーダル大規模言語逐次推奨フレームワークである Molar を提案します。
Molar は MLLM を採用して、テキスト データと非テキスト データの両方から統一されたアイテム表現を生成し、包括的なマルチモーダル モデリングを促進し、アイテムの埋め込みを強化します。
さらに、コンテンツベースおよび ID ベースのモデルからユーザー表現を調整するポストアライメント メカニズムを介した協調フィルタリング信号が組み込まれており、正確なパーソナライゼーションと堅牢なパフォーマンスが保証されます。
Molar は、マルチモーダル コンテンツと協調フィルタリングの洞察をシームレスに組み合わせることで、ユーザーの関心とコンテキスト セマンティクスの両方を捉え、優れたレコメンデーション精度を実現します。
広範な実験により、Molar が従来のベースラインや LLM ベースのベースラインを大幅に上回っていることが検証され、連続的なレコメンデーション タスクにマルチモーダル データと協調シグナルを利用する強みが強調されています。
ソース コードは https://anonymous.4open.science/r/Molar-8B06/ で入手できます。

要約(オリジナル)

Sequential recommendation (SR) systems have evolved significantly over the past decade, transitioning from traditional collaborative filtering to deep learning approaches and, more recently, to large language models (LLMs). While the adoption of LLMs has driven substantial advancements, these models inherently lack collaborative filtering information, relying primarily on textual content data neglecting other modalities and thus failing to achieve optimal recommendation performance. To address this limitation, we propose Molar, a Multimodal large language sequential recommendation framework that integrates multiple content modalities with ID information to capture collaborative signals effectively. Molar employs an MLLM to generate unified item representations from both textual and non-textual data, facilitating comprehensive multimodal modeling and enriching item embeddings. Additionally, it incorporates collaborative filtering signals through a post-alignment mechanism, which aligns user representations from content-based and ID-based models, ensuring precise personalization and robust performance. By seamlessly combining multimodal content with collaborative filtering insights, Molar captures both user interests and contextual semantics, leading to superior recommendation accuracy. Extensive experiments validate that Molar significantly outperforms traditional and LLM-based baselines, highlighting its strength in utilizing multimodal data and collaborative signals for sequential recommendation tasks. The source code is available at https://anonymous.4open.science/r/Molar-8B06/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google