MM-GEF: Multi-modal representation meet collaborative filtering

要約

最新の電子商取引では、さまざまなモダリティのアイテム コンテンツ機能により、レコメンダー システムに正確かつ包括的な情報が提供されます。
これまでの研究の大部分は、ユーザーとアイテムの相互作用をモデル化する際に効果的なアイテム表現を学習するか、マルチモーダル機能を分析することでアイテムとアイテムの関係を探索することに焦点を当てていました。
しかしながら、これらの方法は、協力的なアイテム、ユーザー、アイテムの関係をマルチモーダルな機能ベースのアイテム構造に組み込むことができません。
この研究では、マルチモーダルコンテンツの基礎となる潜在アイテム構造と協調シグナルを効果的に組み合わせる、グラフベースのアイテム構造強化手法MM-GEF: Graph Early-Fusionによるマルチモーダルレコメンデーションを提案します。
コンテンツ特徴を異なるモダリティで個別に処理する代わりに、マルチモーダル特徴を早期に融合することで大幅な改善が得られることを示します。
MM-GEF は、マルチモーダル信号と協調信号の両方から得られた構造情報を注入することで、洗練されたアイテム表現を学習します。
公開されている 4 つのデータセットに対する広範な実験を通じて、最先端のマルチモーダル レコメンデーション手法に対する手法の体系的な改善を実証します。

要約(オリジナル)

In modern e-commerce, item content features in various modalities offer accurate yet comprehensive information to recommender systems. The majority of previous work either focuses on learning effective item representation during modelling user-item interactions, or exploring item-item relationships by analysing multi-modal features. Those methods, however, fail to incorporate the collaborative item-user-item relationships into the multi-modal feature-based item structure. In this work, we propose a graph-based item structure enhancement method MM-GEF: Multi-Modal recommendation with Graph Early-Fusion, which effectively combines the latent item structure underlying multi-modal contents with the collaborative signals. Instead of processing the content feature in different modalities separately, we show that the early-fusion of multi-modal features provides significant improvement. MM-GEF learns refined item representations by injecting structural information obtained from both multi-modal and collaborative signals. Through extensive experiments on four publicly available datasets, we demonstrate systematical improvements of our method over state-of-the-art multi-modal recommendation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google