Task-unaware Lifelong Robot Learning with Retrieval-based Weighted Local Adaptation

要約

現実世界の環境では、ロボットは、明確に定義されたタスクの境界を必要とせずに、以前に学習した能力を保持しながら、新しいスキルを継続的に習得する必要があります。
忘れないように過去のデータをすべて保存することは、ストレージとプライバシーの問題から現実的ではありません。
これに対処するために、ロボットの寿命にわたって、以前に学習したタスクにおけるロボットの習熟度を効率的に回復する方法を提案します。
エピソード記憶 (EM) を使用する当社のアプローチでは、トレーニング中のエクスペリエンスの再生と、ローカル微調整のためのテスト中の検索が可能になり、明示的なタスク識別子がなくても、以前に遭遇した問題に迅速に適応できます。
さらに、取得したデモンストレーションの最も困難なセグメントを強調し、最も必要とされる局所的な適応に焦点を当てる選択的重み付けメカニズムを導入します。
このフレームワークは、動的でタスクを意識しない環境での生涯学習のためのスケーラブルなソリューションを提供し、検索ベースの適応と選択的重み付けを組み合わせて、オープンエンドのシナリオでロボットのパフォーマンスを向上させます。

要約(オリジナル)

Real-world environments require robots to continuously acquire new skills while retaining previously learned abilities, all without the need for clearly defined task boundaries. Storing all past data to prevent forgetting is impractical due to storage and privacy concerns. To address this, we propose a method that efficiently restores a robot’s proficiency in previously learned tasks over its lifespan. Using an Episodic Memory (EM), our approach enables experience replay during training and retrieval during testing for local fine-tuning, allowing rapid adaptation to previously encountered problems without explicit task identifiers. Additionally, we introduce a selective weighting mechanism that emphasizes the most challenging segments of retrieved demonstrations, focusing local adaptation where it is most needed. This framework offers a scalable solution for lifelong learning in dynamic, task-unaware environments, combining retrieval-based adaptation with selective weighting to enhance robot performance in open-ended scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google