CorrEmbed: Evaluating Pre-trained Model Image Similarity Efficacy with a Novel Metric

要約

視覚的に類似した画像の検出は、製品の推奨事項を計算するときに注目する特に便利な属性です。
事前トレーニングされたコンピューター ビジョン モデルを利用して高レベルの画像特徴を抽出する類似性の埋め込みは、類似した構成を持つ画像を識別する際に顕著な効果を示しています。
ただし、従来の損失とパフォーマンスのメトリクスでは画像類似性検索タスクにおけるパフォーマンスを適切に把握できないため、これらのモデルによって生成された埋め込みを評価する方法が不足しています。
この論文では、CorrEmbed という新しいアプローチを使用して、事前にトレーニングされた多数のコンピューター ビジョン モデルからの画像埋め込みの実行可能性を評価します。
私たちのアプローチは、画像埋め込み内の距離と人間が生成したタグ ベクトル内の距離の間の相関関係を計算します。
私たちは、このメトリクスを使用して、事前にトレーニングされた多数の Torchvision モデルを広範囲に評価し、ImageNet1k の精度スコアとタグ相関スコアの間の線形スケーリングの直感的な関係を明らかにしました。
重要なのは、私たちの方法はこのパターンからの逸脱も特定し、さまざまなモデルが高レベルの画像特徴をどのようにキャプチャするかについての洞察を提供します。
これらの事前トレーニング済みモデルの堅牢なパフォーマンス評価を提供することにより、CorrEmbed は、ファッション小売業における類似アイテムの推奨に対する効果的なデータ駆動型アプローチの開発を目指す研究者や実務者にとって貴重なツールとして機能します。

要約(オリジナル)

Detecting visually similar images is a particularly useful attribute to look to when calculating product recommendations. Embedding similarity, which utilizes pre-trained computer vision models to extract high-level image features, has demonstrated remarkable efficacy in identifying images with similar compositions. However, there is a lack of methods for evaluating the embeddings generated by these models, as conventional loss and performance metrics do not adequately capture their performance in image similarity search tasks. In this paper, we evaluate the viability of the image embeddings from numerous pre-trained computer vision models using a novel approach named CorrEmbed. Our approach computes the correlation between distances in image embeddings and distances in human-generated tag vectors. We extensively evaluate numerous pre-trained Torchvision models using this metric, revealing an intuitive relationship of linear scaling between ImageNet1k accuracy scores and tag-correlation scores. Importantly, our method also identifies deviations from this pattern, providing insights into how different models capture high-level image features. By offering a robust performance evaluation of these pre-trained models, CorrEmbed serves as a valuable tool for researchers and practitioners seeking to develop effective, data-driven approaches to similar item recommendations in fashion retail.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google