M3PS: End-to-End Multi-Grained Multi-Modal Attribute-Aware Product Summarization in E-commerce

要約

マルチモーダル製品要約 (MMPS) は、長いテキストの製品情報と製品画像を考慮して、短いテキストの要約で製品の特徴を強調することで顧客の興味を引き、購入意欲を高めることを目的としています。
既存の MMPS 手法は有望なパフォーマンスを達成しています。
それにも関わらず、依然としていくつかの問題が存在します。1) エンドツーエンドの製品要約が不足している、2) マルチグレイン マルチモーダル モデリングが不足している、3) マルチモーダル属性モデリングが不足している。
これらの問題に対処するために、電子商取引で高品質の製品概要を生成するための、エンドツーエンドのマルチグレインマルチモーダル属性認識製品要約手法 (M3PS) を提案します。
M3PS は共同で製品属性をモデル化し、製品概要を生成します。
その一方で、M3PS のマルチモーダル学習をより適切にガイドするために、いくつかのマルチグレイン マルチモーダル タスクを設計します。
さらに、テキストと画像の両方のモダリティに基づいて製品属性をモデル化し、マルチモーダルな製品特性を生成された概要に明示できるようにします。
実際の大規模な中国の電子商取引データセットに対する広範な実験により、私たちのモデルが最先端の商品要約手法よりも優れていることが実証されました。
いくつかの要約メトリクス。

要約(オリジナル)

Given the long textual product information and the product image, Multi-Modal Product Summarization (MMPS) aims to attract customers’ interest and increase their desire to purchase by highlighting product characteristics with a short textual summary. Existing MMPS methods have achieved promising performance. Nevertheless, there still exist several problems: 1) lack end-to-end product summarization, 2) lack multi-grained multi-modal modeling, and 3) lack multi-modal attribute modeling. To address these issues, we propose an end-to-end multi-grained multi-modal attribute-aware product summarization method (M3PS) for generating high-quality product summaries in e-commerce. M3PS jointly models product attributes and generates product summaries. Meanwhile, we design several multi-grained multi-modal tasks to better guide the multi-modal learning of M3PS. Furthermore, we model product attributes based on both text and image modalities so that multi-modal product characteristics can be manifested in the generated summaries. Extensive experiments on a real large-scale Chinese e-commence dataset demonstrate that our model outperforms state-of-the-art product summarization methods w.r.t. several summarization metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google