Associative Memories in the Feature Space

要約

自動連想記憶モデルは、データ ポイントのセットが与えられると、入力として任意のベクトルを受け取り、記憶されたセットから最も類似したデータ ポイントを出力する関数です。
ただし、一般的なメモリ モデルは、破損が軽度で人間の評価者にとって簡単に検出できる場合でも、画像の取得に失敗します。
これは、類似性が生のピクセル空間で評価され、画像に関する意味論的な情報が含まれないためです。
この問題は、ピクセル空間ではなく埋め込み空間で \emph{類似度} を計算することで簡単に解決できます。
このような埋め込みを計算する効果的な方法は、対照的な損失で事前学習されたネットワークを介することであることを示します。
埋め込み空間の次元はピクセル空間よりも大幅に小さいことが多いため、類似性スコアの計算も高速になります。
CIFAR10 や STL10 などの複雑なデータセットでこのメソッドをテストします。
現在のモデルのもう 1 つの欠点は、データセット全体をピクセル空間に保存する必要があることです (ピクセル空間は非常に大きい場合が多い)。
我々はこの条件を緩和し、低次元のセマンティック埋め込みのみを保存し、それらを使用して、同一ではないが類似した記憶を取得するメモリ モデルのクラスを提案します。
MNIST データセット上の単純なタスクでこのメソッドの概念実証を示します。

要約(オリジナル)

An autoassociative memory model is a function that, given a set of data points, takes as input an arbitrary vector and outputs the most similar data point from the memorized set. However, popular memory models fail to retrieve images even when the corruption is mild and easy to detect for a human evaluator. This is because similarities are evaluated in the raw pixel space, which does not contain any semantic information about the images. This problem can be easily solved by computing \emph{similarities} in an embedding space instead of the pixel space. We show that an effective way of computing such embeddings is via a network pretrained with a contrastive loss. As the dimension of embedding spaces is often significantly smaller than the pixel space, we also have a faster computation of similarity scores. We test this method on complex datasets such as CIFAR10 and STL10. An additional drawback of current models is the need of storing the whole dataset in the pixel space, which is often extremely large. We relax this condition and propose a class of memory models that only stores low-dimensional semantic embeddings, and uses them to retrieve similar, but not identical, memories. We demonstrate a proof of concept of this method on a simple task on the MNIST dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google