Collaborative Cross-modal Fusion with Large Language Model for Recommendation

要約

レコメンデーション システムに対する従来の協調フィルタリング (CF) アプローチは成功していますが、ユーザーやアイテムのテキスト属性内の意味論的な知識を活用するには限界があります。
最近、レコメンデーションのための大規模言語モデル (LLM4Rec) のアプリケーションに焦点が当てられており、効果的な意味論的知識の取得に対するその機能が強調されています。
ただし、これらの方法では、ユーザーの行動における協調的なシグナルが見落とされることがよくあります。
単に言語モデルを指示調整するだけのものもあれば、CF ベースのモデルの埋め込みを直接注入するものもありますが、異なるモダリティの相乗的な融合が欠けています。
これらの問題に対処するために、CCF-LLM と呼ばれる大規模言語モデルとの協調的クロスモーダル融合のフレームワークを推奨します。
このフレームワークでは、ユーザーとアイテムのインタラクションをハイブリッド プロンプトに変換して、セマンティックな知識と協調的なシグナルの両方をエンコードし、その後、注意深いクロスモーダル融合戦略を採用して、両方のモダリティの潜在的な埋め込みを効果的に融合します。
広範な実験により、CCF-LLM は LLM4Rec コンテキストでセマンティック信号と協調信号を効果的に利用することにより、既存の方法よりも優れたパフォーマンスを発揮することが実証されました。

要約(オリジナル)

Despite the success of conventional collaborative filtering (CF) approaches for recommendation systems, they exhibit limitations in leveraging semantic knowledge within the textual attributes of users and items. Recent focus on the application of large language models for recommendation (LLM4Rec) has highlighted their capability for effective semantic knowledge capture. However, these methods often overlook the collaborative signals in user behaviors. Some simply instruct-tune a language model, while others directly inject the embeddings of a CF-based model, lacking a synergistic fusion of different modalities. To address these issues, we propose a framework of Collaborative Cross-modal Fusion with Large Language Models, termed CCF-LLM, for recommendation. In this framework, we translate the user-item interactions into a hybrid prompt to encode both semantic knowledge and collaborative signals, and then employ an attentive cross-modal fusion strategy to effectively fuse latent embeddings of both modalities. Extensive experiments demonstrate that CCF-LLM outperforms existing methods by effectively utilizing semantic and collaborative signals in the LLM4Rec context.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google