Learning Random Numbers to Realize Appendable Memory System for Artificial Intelligence to Acquire New Knowledge after Deployment

要約

本研究では、パラメータ更新を行わずにデータを記憶・呼び出し可能なニューラルネットワークシステムを構築する学習手法を開発した。
この方法で構築したシステムをAppendable Memoryシステムと呼びます。
Appendable Memory システムを使用すると、人工知能 (AI) は展開後でも新しい知識を取得できます。
これは、Memorizer と Recaller の 2 つの AI で構成されます。
このシステムは、ニューラル ネットワークを使用して構築されたキーと値のストアです。
Memorizer はデータを受信し、Appendable Memory ベクトルに保存します。このベクトルは、AI が新しい知識を取得すると動的に更新されます。
一方、Recaller は、Appendable Memory ベクトルから情報を取得します。
この研究でAIに教えたいのは、情報を記憶する、思い出すという動作です。
ただし、従来の機械学習手法では、学習データセットに固有の特徴を AI に学習させます。
私たちが作ろうとしているシステムは、現在の機械学習手法、つまりAIによる入力と出力の学習シーケンスを繰り返すだけでは実現できないことを実証します。
代わりに、学習データセットに含まれる特徴を完全に削除することで、AI に操作を学習させる方法を提案します。
具体的には、学習に関係するすべてのデータを確率化しました。
この措置により、AIがデータの特徴を学習することができなくなりました。
この研究で提案された学習方法は、従来の機械学習方法とは異なり、有限のメモリに情報を保存し、後日それを呼び出すことができる AI システムを構築するための基本的なアプローチを提供します。

要約(オリジナル)

In this study, we developed a learning method for constructing a neural network system capable of memorizing data and recalling it without parameter updates. The system we built using this method is called the Appendable Memory system. The Appendable Memory system enables an artificial intelligence (AI) to acquire new knowledge even after deployment. It consists of two AIs: the Memorizer and the Recaller. This system is a key-value store built using neural networks. The Memorizer receives data and stores it in the Appendable Memory vector, which is dynamically updated when the AI acquires new knowledge. Meanwhile, the Recaller retrieves information from the Appendable Memory vector. What we want to teach AI in this study are the operations of memorizing and recalling information. However, traditional machine learning methods make AI learn features inherent in the learning dataset. We demonstrate that the systems we intend to create cannot be realized by current machine learning methods, that is, by merely repeating the input and output learning sequences with AI. Instead, we propose a method to teach AI to learn operations, by completely removing the features contained in the learning dataset. Specifically, we probabilized all the data involved in learning. This measure prevented AI from learning the features of the data. The learning method proposed in the study differs from traditional machine learning methods and provides fundamental approaches for building an AI system that can store information in a finite memory and recall it at a later date.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google