Classification and Generation of real-world data with an Associative Memory Model

要約

何年も会っていなかった友人の顔を記憶から描くのは難しい作業です。
ただし、偶然すれ違った場合は、簡単にお互いを認識できるでしょう。
生物学的記憶には、本質的なものを保存し、知覚と一致するように詳細を推測できる優れた圧縮アルゴリズムが装備されています。
Willshaw Memory は、生物学的記憶のメカニズムを実装する皮質計算用の単純な抽象モデルです。
このモデルは、ビジュアル パターンに対して最近提案されたスパース コーディング処方を使用して、フォールト トレラントな方法で膨大な量の実世界データを保存および取得できます。
この論文では、マルチモダリティフレームワークを使用して、基本的な連想記憶モデルの機能を拡張します。
この設定では、メモリは各パターンのいくつかのモダリティ (視覚的またはテキストなど) を同時に保存します。
トレーニング後、サブセットだけが知覚された場合に、その記憶を使用して欠落しているモダリティを推測できます。
シンプルなエンコーダ、メモリ、デコーダのアーキテクチャと、Willshaw モデル用に新しく提案された反復検索アルゴリズムを使用して、MNIST データセットで実験を実行します。
画像とラベルの両方をモダリティとして保存することにより、単一のメモリを使用してパターンを取得して完成させるだけでなく、新しいパターンを分類して生成することもできます。
さらに、このモデルが他の学習タスクにどのように使用され、生物学にインスピレーションを得た学習フレームワークとして機能するかについても説明します。

要約(オリジナル)

Drawing from memory the face of a friend you have not seen in years is a difficult task. However, if you happen to cross paths, you would easily recognize each other. The biological memory is equipped with an impressive compression algorithm that can store the essential, and then infer the details to match perception. The Willshaw Memory is a simple abstract model for cortical computations which implements mechanisms of biological memories. Using our recently proposed sparse coding prescription for visual patterns, this model can store and retrieve an impressive amount of real-world data in a fault-tolerant manner. In this paper, we extend the capabilities of the basic Associative Memory Model by using a Multiple-Modality framework. In this setting, the memory stores several modalities (e.g., visual, or textual) of each pattern simultaneously. After training, the memory can be used to infer missing modalities when just a subset is perceived. Using a simple encoder-memory-decoder architecture, and a newly proposed iterative retrieval algorithm for the Willshaw Model, we perform experiments on the MNIST dataset. By storing both the images and labels as modalities, a single Memory can be used not only to retrieve and complete patterns but also to classify and generate new ones. We further discuss how this model could be used for other learning tasks, thus serving as a biologically-inspired framework for learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google