Rec-GPT4V: Multimodal Recommendation with Large Vision-Language Models

要約

大規模ビジョン言語モデル (LVLM) の開発は、静的画像とテキストのダイナミクスを熟知しているため、従来のマルチモーダル レコメンデーションが直面する課題に対処できる可能性をもたらします。
ただし、この分野での LVLM の適用は、次の複雑さのため依然として制限されています。 まず、LVLM は膨大な一般データセットからトレーニングされるため、ユーザーの好みの知識が不足しています。
第 2 に、LVLM は、離散的でノイズの多い冗長な画像シーケンスを含むシナリオでの複数の画像ダイナミクスに対処する際に挫折を経験します。
これらの問題を克服するために、私たちは Rec-GPT4V と呼ばれる新しい推論スキームを提案します。これは、マルチモーダルなレコメンデーションに大規模なビジョン言語モデルを活用する Visual-summary Thought (VST) です。
最初の課題に対処するために、コンテキスト内のユーザー設定としてユーザー履歴を利用します。
次に、LVLM にアイテム画像の概要を生成し、アイテムのタイトルと組み合わせた自然言語空間での画像理解を利用して、候補アイテムに対するユーザーの好みをクエリするように促します。
GPT4-V、LLaVa-7b、LLaVa-13b の 3 つの LVLM を使用して、4 つのデータセットにわたる包括的な実験を実施します。
数値結果は VST の有効性を示しています。

要約(オリジナル)

The development of large vision-language models (LVLMs) offers the potential to address challenges faced by traditional multimodal recommendations thanks to their proficient understanding of static images and textual dynamics. However, the application of LVLMs in this field is still limited due to the following complexities: First, LVLMs lack user preference knowledge as they are trained from vast general datasets. Second, LVLMs suffer setbacks in addressing multiple image dynamics in scenarios involving discrete, noisy, and redundant image sequences. To overcome these issues, we propose the novel reasoning scheme named Rec-GPT4V: Visual-Summary Thought (VST) of leveraging large vision-language models for multimodal recommendation. We utilize user history as in-context user preferences to address the first challenge. Next, we prompt LVLMs to generate item image summaries and utilize image comprehension in natural language space combined with item titles to query the user preferences over candidate items. We conduct comprehensive experiments across four datasets with three LVLMs: GPT4-V, LLaVa-7b, and LLaVa-13b. The numerical results indicate the efficacy of VST.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google