Search By Image: Deeply Exploring Beneficial Features for Beauty Product Retrieval

要約

画像による検索は人気がありますが、i) 実世界でキャプチャされた画像のデータのバリエーション (背景、ポーズ、視角、明るさなど) と ii) クエリ データセット内の類似の画像から生じる広範な干渉のために、依然として困難です。
この論文では、ニューラル ネットワークによる美容製品検索 (BPR) の実際に意味のある問題を研究しています。
私たちはさまざまな種類の画像特徴を広く抽出し、これらの特徴が i) 現実世界でキャプチャされた画像のデータの変動を抑える、および ii) ある画像を、非常に似ているが本質的に異なる美しさである他の画像と区別するのに役立つかどうかという興味深い問題を提起します。
データセット内の製品、したがって BPR の機能強化につながります。
それに答えるために、美容製品の画像の複数の機能 (VM-Net と呼ばれる) の組み合わせを理解するための新しい可変注意ニューラル ネットワークを提示します。
BPR 用に公開されているトレーニング データセットがほとんどないことを考慮して、VM-Net およびその他の方法の一般化および干渉防止機能の両方を改善するために、2 万を超えるカテゴリに分類された 100 万を超える画像を含む新しいデータセットを確立します。
ベンチマーク データセット Perfect-500K で VM-Net とその競合他社のパフォーマンスを検証します。ここで、VM-Net は MAP@7 に関して競合他社よりも明らかな改善を示しています。
ソース コードとデータセットは、公開時にリリースされます。

要約(オリジナル)

Searching by image is popular yet still challenging due to the extensive interference arose from i) data variations (e.g., background, pose, visual angle, brightness) of real-world captured images and ii) similar images in the query dataset. This paper studies a practically meaningful problem of beauty product retrieval (BPR) by neural networks. We broadly extract different types of image features, and raise an intriguing question that whether these features are beneficial to i) suppress data variations of real-world captured images, and ii) distinguish one image from others which look very similar but are intrinsically different beauty products in the dataset, therefore leading to an enhanced capability of BPR. To answer it, we present a novel variable-attention neural network to understand the combination of multiple features (termed VM-Net) of beauty product images. Considering that there are few publicly released training datasets for BPR, we establish a new dataset with more than one million images classified into more than 20K categories to improve both the generalization and anti-interference abilities of VM-Net and other methods. We verify the performance of VM-Net and its competitors on the benchmark dataset Perfect-500K, where VM-Net shows clear improvements over the competitors in terms of MAP@7. The source code and dataset will be released upon publication.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google