Instance-weighted Central Similarity for Multi-label Image Retrieval

要約

ディープ ハッシングは、効率的な検索のために高次元のデータ ポイントをバイナリ コードにエンコードすることにより、大規模な画像検索に広く適用されています。
ペアワイズ/トリプレット類似性ベースのハッシュ学習と比較して、中央類似性ベースのハッシュは、グローバル データ分布をより効率的にキャプチャできます。
ただし、マルチラベル画像検索の場合、以前の方法では、重みが等しい複数のハッシュ センターのみを使用して、学習ターゲットとして 1 つの重心を生成します。これは、ハッシュ センターの重みと画像内のインスタンス領域の比率との関係を無視します。
上記の問題に対処するために、ハッシュコードに対応する中心の重みを自動的に学習するために、2 段階の代替最適化アプローチであるインスタンス加重中央類似度 (ICS) を提案します。
まず、最大エントロピー正則化を適用して、1 つのハッシュ センターが損失関数を支配するのを防ぎ、射影勾配降下法によって中心の重みを計算します。
次に、中心の重みを固定した標準的な逆伝播によって、ニューラル ネットワークのパラメーターを更新します。
さらに重要なことは、学習された中心の重みが、画像内の前景インスタンスの割合を十分に反映できることです。
私たちの方法は、画像検索ベンチマークで最先端のパフォーマンスを達成し、特に MS COCO データセットで mAP を 1.6% ～ 6.4% 改善します。

要約(オリジナル)

Deep hashing has been widely applied to large-scale image retrieval by encoding high-dimensional data points into binary codes for efficient retrieval. Compared with pairwise/triplet similarity based hash learning, central similarity based hashing can more efficiently capture the global data distribution. For multi-label image retrieval, however, previous methods only use multiple hash centers with equal weights to generate one centroid as the learning target, which ignores the relationship between the weights of hash centers and the proportion of instance regions in the image. To address the above issue, we propose a two-step alternative optimization approach, Instance-weighted Central Similarity (ICS), to automatically learn the center weight corresponding to a hash code. Firstly, we apply the maximum entropy regularizer to prevent one hash center from dominating the loss function, and compute the center weights via projection gradient descent. Secondly, we update neural network parameters by standard back-propagation with fixed center weights. More importantly, the learned center weights can well reflect the proportion of foreground instances in the image. Our method achieves the state-of-the-art performance on the image retrieval benchmarks, and especially improves the mAP by 1.6%-6.4% on the MS COCO dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google