Memory, Benchmark & Robots: A Benchmark for Solving Complex Tasks with Reinforcement Learning

要約

メモリは、エージェントが時間的および空間的依存関係を備えた複雑なタスクに取り組むことを可能にするために重要です。
多くの強化学習（RL）アルゴリズムにはメモリが組み込まれていますが、フィールドには多様なシナリオ全体でエージェントのメモリ機能を評価するための普遍的なベンチマークがありません。
このギャップは、部分的な観察性を備えたタスクを解決し、堅牢なパフォーマンスを確保するためにメモリが不可欠であるが、標準化されたベンチマークが存在しないためにメモリが不可欠である卓上ロボット操作で特に顕著です。
これに対処するために、メモリRLの包括的なベンチマークであるMikasa（エージェントのメモリ集約型スキル評価スイート）を紹介します。（1）メモリ集約型RLタスクの包括的な分類フレームワークを提案します（2）Mikasa-Baseを収集します。
Mikasa-Robo（PIPインストールMikasa-Robo-Suite） – 卓上ロボット操作におけるメモリ機能を評価する32の慎重に設計されたメモリ集約型タスクの新しいベンチマーク。
私たちの研究では、メモリRLの研究を進めるための統一されたフレームワークを紹介し、実際の使用のためのより堅牢なシステムを可能にします。
Mikasaはhttps://tinyurl.com/membenchrobotsで入手できます。

要約(オリジナル)

Memory is crucial for enabling agents to tackle complex tasks with temporal and spatial dependencies. While many reinforcement learning (RL) algorithms incorporate memory, the field lacks a universal benchmark to assess an agent’s memory capabilities across diverse scenarios. This gap is particularly evident in tabletop robotic manipulation, where memory is essential for solving tasks with partial observability and ensuring robust performance, yet no standardized benchmarks exist. To address this, we introduce MIKASA (Memory-Intensive Skills Assessment Suite for Agents), a comprehensive benchmark for memory RL, with three key contributions: (1) we propose a comprehensive classification framework for memory-intensive RL tasks, (2) we collect MIKASA-Base — a unified benchmark that enables systematic evaluation of memory-enhanced agents across diverse scenarios, and (3) we develop MIKASA-Robo (pip install mikasa-robo-suite) — a novel benchmark of 32 carefully designed memory-intensive tasks that assess memory capabilities in tabletop robotic manipulation. Our work introduces a unified framework to advance memory RL research, enabling more robust systems for real-world use. MIKASA is available at https://tinyurl.com/membenchrobots.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google