Personalized Showcases: Generating Multi-Modal Explanations for Recommendations

要約

タイトル：個人化ショーケース：推薦に対するマルチモーダル説明の生成

要約：

– 既存の説明モデルは、推薦に対してテキストのみを生成しているが、多様なコンテンツを生成することには苦戦している。
– この論文では、さらに説明を豊富にするために、個人化ショーケースという新しいタスクを提案する。
– 個人化ショーケースでは、推薦されたアイテムに対するユーザーの関心に最も関連性があると考えられる画像セットを最初に選択し、選択した画像に基づいて自然言語の説明文を生成する。
– この新しいタスクのために、Googleローカル（すなわち、マップ）から大規模なデータセットを収集し、マルチモーダル説明を生成するための高品質のサブセットを構築する。
– コントラスティブラーニングを用いた個人化マルチモーダルフレームワークを提案し、さまざまな評価指標において従来の方法よりも多様で表現力豊かな説明を生成できることを実験で示す。

要約(オリジナル)

Existing explanation models generate only text for recommendations but still struggle to produce diverse contents. In this paper, to further enrich explanations, we propose a new task named personalized showcases, in which we provide both textual and visual information to explain our recommendations. Specifically, we first select a personalized image set that is the most relevant to a user’s interest toward a recommended item. Then, natural language explanations are generated accordingly given our selected images. For this new task, we collect a large-scale dataset from Google Local (i.e.,~maps) and construct a high-quality subset for generating multi-modal explanations. We propose a personalized multi-modal framework which can generate diverse and visually-aligned explanations via contrastive learning. Experiments show that our framework benefits from different modalities as inputs, and is able to produce more diverse and expressive explanations compared to previous methods on a variety of evaluation metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI