V$^2$L: Leveraging Vision and Vision-language Models into Large-scale Product Retrieval

要約

製品の検索は、eコマースドメインで非常に重要です。
このホワイトペーパーでは、eBay eProduct Visual Search Challenge（FGVC9）の1位のソリューションを紹介します。これは、ビジョンモデルとビジョン言語モデルからの約20のモデルのアンサンブルで紹介されています。
モデルアンサンブルは一般的ですが、ビジョンモデルとビジョン言語モデルを組み合わせると、それらの補完性から特別な利点がもたらされ、私たちの優位性の重要な要素であることを示します。
具体的には、ビジョンモデルの場合、最初にトレーニングセットで提供される粗いラベルから学習し、次にきめ細かい自己監視トレーニングを実行して、粗いものから細かいものへのメトリック学習方法を生成する2段階のトレーニングパイプラインを使用します。
視覚言語モデルの場合、トレーニング画像のテキストによる説明を、画像エンコーダー（特徴抽出器）を微調整するための監視信号として使用します。
これらの設計により、当社のソリューションは0.7623 MAR @ 10を達成し、すべての競合他社の中で1位にランクされています。
コードは\href{https://github.com/WangWenhao0716/V2L}{V$^2$L}で入手できます。

要約(オリジナル)

Product retrieval is of great importance in the ecommerce domain. This paper introduces our 1st-place solution in eBay eProduct Visual Search Challenge (FGVC9), which is featured for an ensemble of about 20 models from vision models and vision-language models. While model ensemble is common, we show that combining the vision models and vision-language models brings particular benefits from their complementarity and is a key factor to our superiority. Specifically, for the vision models, we use a two-stage training pipeline which first learns from the coarse labels provided in the training set and then conducts fine-grained self-supervised training, yielding a coarse-to-fine metric learning manner. For the vision-language models, we use the textual description of the training image as the supervision signals for fine-tuning the image-encoder (feature extractor). With these designs, our solution achieves 0.7623 MAR@10, ranking the first place among all the competitors. The code is available at: \href{https://github.com/WangWenhao0716/V2L}{V$^2$L}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google