Transformer-empowered Multi-modal Item Embedding for Enhanced Image Search in E-Commerce

要約

過去 10 年間で、電子商取引アプリケーションの画像検索の分野では大きな進歩が見られました。
従来の画像間の検索モデルは、テクスチャなどの画像の詳細のみに焦点を当てており、画像内に含まれる有用な意味論的な情報を見落とす傾向があります。
その結果、取得された商品は類似の画像詳細を持っている可能性がありますが、ユーザーの検索目標を満たしていない可能性があります。
さらに、複数の画像を含む製品に対して画像間の検索モデルを使用すると、オンライン製品機能ストレージのオーバーヘッドが大幅に増加し、マッピングの実装が複雑になります。
この論文では、これらの制限に対処するために提案されたマルチモーダル項目埋め込みモデル (MIEM) の設計と展開について報告します。
製品に関するテキスト情報と複数の画像の両方を利用して、意味のある製品機能を構築できます。
MIEM は、画像の意味情報を活用することで画像検索プロセスを効果的に補完し、検索結果の全体的な精度を向上させます。
MIEM は Shopee 画像検索プラットフォームに不可欠な部分になりました。
2023 年 3 月の導入以来、Shopee e コマース プラットフォームの画像検索機能では、ユーザーあたりのクリック数で 9.90% の大幅な増加、ユーザーあたりの注文で 4.23% の増加を達成しました。

要約(オリジナル)

Over the past decade, significant advances have been made in the field of image search for e-commerce applications. Traditional image-to-image retrieval models, which focus solely on image details such as texture, tend to overlook useful semantic information contained within the images. As a result, the retrieved products might possess similar image details, but fail to fulfil the user’s search goals. Moreover, the use of image-to-image retrieval models for products containing multiple images results in significant online product feature storage overhead and complex mapping implementations. In this paper, we report the design and deployment of the proposed Multi-modal Item Embedding Model (MIEM) to address these limitations. It is capable of utilizing both textual information and multiple images about a product to construct meaningful product features. By leveraging semantic information from images, MIEM effectively supplements the image search process, improving the overall accuracy of retrieval results. MIEM has become an integral part of the Shopee image search platform. Since its deployment in March 2023, it has achieved a remarkable 9.90% increase in terms of clicks per user and a 4.23% boost in terms of orders per user for the image search feature on the Shopee e-commerce platform.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google