Deep Hashing via Householder Quantization

要約

ハッシュは大規模な画像類似性検索の中心であり、最近の手法は深層学習技術によって大幅に改善されました。
このようなアルゴリズムは通常、データの連続的な埋め込みを学習します。
後続のコストのかかる 2 値化ステップを回避するための一般的な解決策は、類似性学習項 (類似した画像が近くの埋め込みにグループ化されることを保証するため) と量子化ペナルティ項 (埋め込みエントリが 2 値化されたエントリに近いことを確認するため) を組み合わせた損失関数を採用することです。
、例: -1 または 1)。
それでも、これら 2 つの用語の相互作用により、学習が困難になり、埋め込みが悪化する可能性があります。
我々は、学習問題を 2 段階に分解する代替の量子化戦略を提案します。まず、量子化を行わずに埋め込み空間に対して類似性学習を実行します。
次に、エンベディングの各座標がその符号に近づくようにエンベディングの最適な直交変換を見つけ、変換されたエンベディングを符号関数を通じて量子化します。
2 番目のステップでは、ハウスホルダー行列を使用して直交変換をパラメータ化し、確率的勾配降下法を効率的に活用します。
類似性の尺度は通常、直交変換の下では不変であるため、この量子化戦略はパフォーマンスの点で何の犠牲も伴いません。
結果として得られるアルゴリズムは教師なし、高速、ハイパーパラメーターフリーで、既存のディープ ハッシュ アルゴリズムやメトリクス学習アルゴリズムの上で実行できます。
私たちは、このアプローチが広く使用されている画像データセットで最先端のパフォーマンスをもたらし、他の量子化戦略とは異なり、既存のディープ ハッシュ アルゴリズムのパフォーマンスに一貫した向上をもたらすことを示す広範な実験結果を提供します。

要約(オリジナル)

Hashing is at the heart of large-scale image similarity search, and recent methods have been substantially improved through deep learning techniques. Such algorithms typically learn continuous embeddings of the data. To avoid a subsequent costly binarization step, a common solution is to employ loss functions that combine a similarity learning term (to ensure similar images are grouped to nearby embeddings) and a quantization penalty term (to ensure that the embedding entries are close to binarized entries, e.g., -1 or 1). Still, the interaction between these two terms can make learning harder and the embeddings worse. We propose an alternative quantization strategy that decomposes the learning problem in two stages: first, perform similarity learning over the embedding space with no quantization; second, find an optimal orthogonal transformation of the embeddings so each coordinate of the embedding is close to its sign, and then quantize the transformed embedding through the sign function. In the second step, we parametrize orthogonal transformations using Householder matrices to efficiently leverage stochastic gradient descent. Since similarity measures are usually invariant under orthogonal transformations, this quantization strategy comes at no cost in terms of performance. The resulting algorithm is unsupervised, fast, hyperparameter-free and can be run on top of any existing deep hashing or metric learning algorithm. We provide extensive experimental results showing that this approach leads to state-of-the-art performance on widely used image datasets, and, unlike other quantization strategies, brings consistent improvements in performance to existing deep hashing algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google