Learning Successor Features with Distributed Hebbian Temporal Memory

要約

この論文では、非定常で部分的に観測可能な環境における不確実性の下での意思決定のためのオンライン一時記憶学習の課題に対処するための新しいアプローチを紹介します。
提案されたアルゴリズムである分散ヘビアン時間記憶 (DHTM) は、ファクター グラフ形式主義と多成分ニューロン モデルに基づいています。
DHTM は、逐次的なデータの関係を取得し、将来の観測に関する累積的な予測を行い、後続特徴 (SF) を形成することを目的としています。
新皮質の神経生理学的モデルにインスピレーションを得たこのアルゴリズムは、分散表現、スパース遷移行列、ローカル ヘビアンのような学習ルールを利用して、RNN や HMM などの従来の時間記憶アルゴリズムの不安定性と遅い学習プロセスを克服します。
実験結果は、非定常データセットの場合、DHTM が LSTM および生物学にヒントを得た HMM のようなアルゴリズムである CSCG よりも優れていることを示しています。
私たちの調査結果は、DHTM が動的環境におけるオンライン配列学習と計画の課題に対処するための有望なアプローチであることを示唆しています。

要約(オリジナル)

This paper presents a novel approach to address the challenge of online temporal memory learning for decision-making under uncertainty in non-stationary, partially observable environments. The proposed algorithm, Distributed Hebbian Temporal Memory (DHTM), is based on factor graph formalism and a multicomponent neuron model. DHTM aims to capture sequential data relationships and make cumulative predictions about future observations, forming Successor Features (SF). Inspired by neurophysiological models of the neocortex, the algorithm utilizes distributed representations, sparse transition matrices, and local Hebbian-like learning rules to overcome the instability and slow learning process of traditional temporal memory algorithms like RNN and HMM. Experimental results demonstrate that DHTM outperforms LSTM and a biologically inspired HMM-like algorithm, CSCG, in the case of non-stationary datasets. Our findings suggest that DHTM is a promising approach for addressing the challenges of online sequence learning and planning in dynamic environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google