Spatially-Aware Transformer for Embodied Agents

要約

エピソード記憶は、過去の出来事を精神的に思い出す能力など、様々な認知プロセスにおいて重要な役割を果たしている。認知科学は、エピソード記憶の形成と検索における空間的コンテキストの重要性を強調しているが、AIシステムにエピソード記憶を実装するための現在の主なアプローチは、時間的に順序付けられた経験を記憶するトランスフォーマーであり、空間的次元を見落としている。その結果、時間的順序だけでなく、空間的軸を組み込むために、どのように基本構造を拡張することができるのか、それによってどのような利点が得られるのかが不明である。これを解決するために、本稿では空間情報を組み込んだ空間認識トランスフォーマーモデルの使用を探求する。これらのモデルにより、時間的次元と空間的次元の両方を考慮した、場所中心のエピソード記憶の作成が可能になる。このアプローチを採用することで、メモリの利用効率が向上し、様々な場所中心の下流タスクの精度が向上することを実証する。さらに、メモリ利用効率の最適化を目的とした、強化学習に基づくメモリ管理手法である適応的メモリアロケータを提案する。我々の実験は、予測、生成、推論、強化学習を含む様々な環境と複数の下流タスクにおいて、我々の提案モデルの利点を実証する。我々のモデルと実験のソースコードは、https://github.com/junmokane/spatially-aware-transformer。

要約(オリジナル)

Episodic memory plays a crucial role in various cognitive processes, such as the ability to mentally recall past events. While cognitive science emphasizes the significance of spatial context in the formation and retrieval of episodic memory, the current primary approach to implementing episodic memory in AI systems is through transformers that store temporally ordered experiences, which overlooks the spatial dimension. As a result, it is unclear how the underlying structure could be extended to incorporate the spatial axis beyond temporal order alone and thereby what benefits can be obtained. To address this, this paper explores the use of Spatially-Aware Transformer models that incorporate spatial information. These models enable the creation of place-centric episodic memory that considers both temporal and spatial dimensions. Adopting this approach, we demonstrate that memory utilization efficiency can be improved, leading to enhanced accuracy in various place-centric downstream tasks. Additionally, we propose the Adaptive Memory Allocator, a memory management method based on reinforcement learning that aims to optimize efficiency of memory utilization. Our experiments demonstrate the advantages of our proposed model in various environments and across multiple downstream tasks, including prediction, generation, reasoning, and reinforcement learning. The source code for our models and experiments will be available at https://github.com/junmokane/spatially-aware-transformer.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL