Task-unaware Lifelong Robot Learning with Retrieval-based Weighted Local Adaptation

要約

実世界の環境では、ロボットは過去に学習した能力を保持しながら、新しいスキルを継続的に習得する必要がある。忘却を防ぐために過去のデータをすべて保存することは、ストレージやプライバシーの問題から現実的ではない。そこで我々は、ロボットの寿命が尽きるまで、過去に学習したタスクの熟練度を効率的に回復させる方法を提案する。エピソード記憶(EM)を用いる本アプローチは、局所的な微調整のために、トレーニング中の経験再生とテスト中の検索を可能にし、明示的なタスク識別情報なしに、以前に遭遇した問題への迅速な適応を可能にする。さらに、検索されたデモの最も困難な部分を強調する選択的重み付けメカニズムを導入し、局所適応を最も必要な部分に集中させる。このフレームワークは、動的でタスクを意識しない環境における生涯学習のためのスケーラブルなソリューションを提供し、検索に基づく適応と選択的重み付けを組み合わせることで、オープンエンドシナリオにおけるロボットのパフォーマンスを向上させる。

要約(オリジナル)

Real-world environments require robots to continuously acquire new skills while retaining previously learned abilities, all without the need for clearly defined task boundaries. Storing all past data to prevent forgetting is impractical due to storage and privacy concerns. To address this, we propose a method that efficiently restores a robot’s proficiency in previously learned tasks over its lifespan. Using an Episodic Memory (EM), our approach enables experience replay during training and retrieval during testing for local fine-tuning, allowing rapid adaptation to previously encountered problems without explicit task identifiers. Additionally, we introduce a selective weighting mechanism that emphasizes the most challenging segments of retrieved demonstrations, focusing local adaptation where it is most needed. This framework offers a scalable solution for lifelong learning in dynamic, task-unaware environments, combining retrieval-based adaptation with selective weighting to enhance robot performance in open-ended scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL