Visual Product Graph: Bridging Visual Products And Composite Images For End-to-End Style Recommendations

要約

意味的に類似しているが視覚的に異なるコンテンツを取得することは、視覚検索システムで重要な能力でした。
この作業では、この問題に視覚製品グラフ（VPG）でこの問題に取り組むことを目指しており、ストレージのための高性能インフラストラクチャを活用し、画像理解のための最先端のコンピュータービジョンモデルを活用しています。
VPGは、個々の製品からのナビゲーションを、これらの製品を含む複合シーンと補完的な推奨事項にできるオンラインリアルタイム検索システムとして構築されています。
当社のシステムは、コンテキストで製品をスタイル化する方法を紹介することにより、コンテキストの洞察を提供するだけでなく、これらのインスピレーションから描かれた補完的な製品の推奨事項も提供します。
視覚製品グラフを構築するための重要なコンポーネントと、オブジェクトの検出、基礎視覚埋め込み、およびその他の視覚信号全体のコアコンピュータービジョンモデルの改善について説明します。
私たちのシステムは、エンドツーエンドのヒト関連評価で78.8％の非常に類似した1@1と6％モジュールのエンゲージメント率を達成します。
Visual Product Graph Technologyを搭載した「Style To Styleth It」モジュールは、Pinterestで生産中に展開されています。

要約(オリジナル)

Retrieving semantically similar but visually distinct contents has been a critical capability in visual search systems. In this work, we aim to tackle this problem with Visual Product Graph (VPG), leveraging high-performance infrastructure for storage and state-of-the-art computer vision models for image understanding. VPG is built to be an online real-time retrieval system that enables navigation from individual products to composite scenes containing those products, along with complementary recommendations. Our system not only offers contextual insights by showcasing how products can be styled in a context, but also provides recommendations for complementary products drawn from these inspirations. We discuss the essential components for building the Visual Product Graph, along with the core computer vision model improvements across object detection, foundational visual embeddings, and other visual signals. Our system achieves a 78.8% extremely similar@1 in end-to-end human relevance evaluations, and a 6% module engagement rate. The ‘Ways to Style It’ module, powered by the Visual Product Graph technology, is deployed in production at Pinterest.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google