Introspective Deep Metric Learning for Image Retrieval

要約

この論文では、不確実性を考慮した画像比較のための内省的ディープメトリクス学習 (IDML) フレームワークを提案します。
従来のディープメトリックラーニング手法は、不確実性レベルに関係なく、画像間の信頼できる意味論的距離を生成します。
ただし、優れた類似性モデルでは、より堅牢なトレーニングを行うためにあいまいな画像を適切に処理するために、意味論的な不一致を慎重に考慮する必要があると主張します。
これを達成するために、意味的埋め込みだけでなく、画像の意味的特性と曖昧性をそれぞれ記述する付随する不確実性埋め込みも使用して画像を表現することを提案します。
さらに、意味上の違いと曖昧さの両方を考慮して画像間の類似性を判断するための内省的な類似性メトリックを提案します。
提案された IDML フレームワークは、不確実性モデリングを通じてディープメトリックラーニングのパフォーマンスを向上させ、画像検索とクラスタリングに広く使用されている CUB-200-2011、Cars196、および Stanford Online Products データセットで最先端の結果を達成します。
さらに、IDML の有効性と信頼性を実証するために、フレームワークの詳細な分析を提供します。
コードは https://github.com/wzzheng/IDML から入手できます。

要約(オリジナル)

This paper proposes an introspective deep metric learning (IDML) framework for uncertainty-aware comparisons of images. Conventional deep metric learning methods produce confident semantic distances between images regardless of the uncertainty level. However, we argue that a good similarity model should consider the semantic discrepancies with caution to better deal with ambiguous images for more robust training. To achieve this, we propose to represent an image using not only a semantic embedding but also an accompanying uncertainty embedding, which describes the semantic characteristics and ambiguity of an image, respectively. We further propose an introspective similarity metric to make similarity judgments between images considering both their semantic differences and ambiguities. The proposed IDML framework improves the performance of deep metric learning through uncertainty modeling and attains state-of-the-art results on the widely used CUB-200-2011, Cars196, and Stanford Online Products datasets for image retrieval and clustering. We further provide an in-depth analysis of our framework to demonstrate the effectiveness and reliability of IDML. Code is available at: https://github.com/wzzheng/IDML.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google