Universal Recurrent Event Memories for Streaming Data

要約

この論文では、スカラー、多変量、シンボリックなどのさまざまな種類の時系列データに汎用的なリカレント ニューラル ネットワーク用の新しいイベント メモリ アーキテクチャ (MemNet) を提案します。
他の外部ニューラル メモリ アーキテクチャとは異なり、デジタル アーキタイプと同様に、キーと値のペアを格納します。これにより、アドレス指定用の情報とコンテンツ用の情報が分離され、表現が向上します。
さらに、キーと値のペアは、モデル状態によって構築されたメモリに適用されるメモリの深さと解像度の間の妥協も回避します。
MemNet の重要な特徴の 1 つは、入力データに対して非線形演算を実装しながら、線形適応マッピング関数のみが必要であることです。
MemNet アーキテクチャは、スカラー時系列、文字列の論理演算子、さらには自然言語処理に変更を加えずに適用でき、カオス時系列、シンボリック演算タスクなどのすべてのアプリケーション ドメインで最先端の結果を提供します。
質問応答タスク (bAbI)。
最後に、5 つの線形層によって制御される MemNet は、他の外部メモリ ネットワークやトランスフォーマー ネットワークよりもはるかに少ない数のトレーニング パラメーターを必要とします。
MemNet の空間の複雑さは、単一のセルフアテンション層に相当します。
これにより、アテンション メカニズムの効率が大幅に向上し、IoT アプリケーションへの扉が開かれます。

要約(オリジナル)

In this paper, we propose a new event memory architecture (MemNet) for recurrent neural networks, which is universal for different types of time series data such as scalar, multivariate or symbolic. Unlike other external neural memory architectures, it stores key-value pairs, which separate the information for addressing and for content to improve the representation, as in the digital archetype. Moreover, the key-value pairs also avoid the compromise between memory depth and resolution that applies to memories constructed by the model state. One of the MemNet key characteristics is that it requires only linear adaptive mapping functions while implementing a nonlinear operation on the input data. MemNet architecture can be applied without modifications to scalar time series, logic operators on strings, and also to natural language processing, providing state-of-the-art results in all application domains such as the chaotic time series, the symbolic operation tasks, and the question-answering tasks (bAbI). Finally, controlled by five linear layers, MemNet requires a much smaller number of training parameters than other external memory networks as well as the transformer network. The space complexity of MemNet equals a single self-attention layer. It greatly improves the efficiency of the attention mechanism and opens the door for IoT applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google