Spatially-Aware Transformer Memory for Embodied Agents

要約

エピソード記憶は、過去の出来事を精神的に思い出す能力など、さまざまな認知プロセスにおいて重要な役割を果たします。
認知科学はエピソード記憶の形成と検索における空間コンテキストの重要性を強調していますが、AI システムにエピソード記憶を実装する現在の主なアプローチは、時間的に順序付けられた経験を保存するトランスフォーマーを介するものであり、空間次元が無視されています。
その結果、時間的順序のみを超えた空間軸を組み込むために基礎となる構造をどのように拡張できるか、またそれによってどのような利点が得られるかは不明です。
これに対処するために、このペーパーでは、空間情報を組み込んだ Spatally-Aware Transformer モデルの使用について検討します。
これらのモデルにより、時間的次元と空間的次元の両方を考慮した場所中心のエピソード記憶の作成が可能になります。
このアプローチを採用することで、メモリ使用効率が向上し、さまざまな場所中心の下流タスクの精度の向上につながることを実証します。
さらに、メモリ使用効率の最適化を目的とした強化学習に基づくメモリ管理手法である Adaptive Memory Allocator を提案します。
私たちの実験では、さまざまな環境および予測、生成、推論、強化学習などの複数の下流タスクにわたって、提案したモデルの利点を実証しています。
私たちのモデルと実験のソース コードは、https://github.com/junmokane/spatially-aware-transformer で入手できます。

要約(オリジナル)

Episodic memory plays a crucial role in various cognitive processes, such as the ability to mentally recall past events. While cognitive science emphasizes the significance of spatial context in the formation and retrieval of episodic memory, the current primary approach to implementing episodic memory in AI systems is through transformers that store temporally ordered experiences, which overlooks the spatial dimension. As a result, it is unclear how the underlying structure could be extended to incorporate the spatial axis beyond temporal order alone and thereby what benefits can be obtained. To address this, this paper explores the use of Spatially-Aware Transformer models that incorporate spatial information. These models enable the creation of place-centric episodic memory that considers both temporal and spatial dimensions. Adopting this approach, we demonstrate that memory utilization efficiency can be improved, leading to enhanced accuracy in various place-centric downstream tasks. Additionally, we propose the Adaptive Memory Allocator, a memory management method based on reinforcement learning that aims to optimize efficiency of memory utilization. Our experiments demonstrate the advantages of our proposed model in various environments and across multiple downstream tasks, including prediction, generation, reasoning, and reinforcement learning. The source code for our models and experiments will be available at https://github.com/junmokane/spatially-aware-transformer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google