Evaluating Pretrained models for Deployable Lifelong Learning

要約

私たちは、厳選されたデータセットで事前トレーニングされた視覚強化学習 (RL) 用の展開可​​能な生涯学習システムを評価するための新しいベンチマークを作成し、以前に学習した RL タスクからの知識を保持できる新しいスケーラブルな生涯学習システムを提案します。
私たちのベンチマークは、スケーラビリティ、パフォーマンス、リソース使用率で評価される、展開可能な生涯学習システムの有効性を測定します。
私たちが提案するシステムは、データセットで事前トレーニングされると、目に見えないタスクで継続的な学習を実行するために展開できます。
私たちが提案する手法は、FSCIL (Few Shot Class Incremental Learning) ベースのタスクマッパーと、完全に事前学習データセットを使用して学習されたエンコーダー/バックボーンで構成されます。
次に、認識されたタスクに対応するポリシー パラメータがロードされて、タスクが実行されます。
このシステムは、メモリ フットプリントが小さく、計算リソースが少ないため、多数のタスクを組み込むように拡張できることを示します。
私たちは、Atari ゲームの DeLL (Deployment for Lifelong Learning) ベンチマークで実験を実行し、システムの有効性を判断します。

要約(オリジナル)

We create a novel benchmark for evaluating a Deployable Lifelong Learning system for Visual Reinforcement Learning (RL) that is pretrained on a curated dataset, and propose a novel Scalable Lifelong Learning system capable of retaining knowledge from the previously learnt RL tasks. Our benchmark measures the efficacy of a deployable Lifelong Learning system that is evaluated on scalability, performance and resource utilization. Our proposed system, once pretrained on the dataset, can be deployed to perform continual learning on unseen tasks. Our proposed method consists of a Few Shot Class Incremental Learning (FSCIL) based task-mapper and an encoder/backbone trained entirely using the pretrain dataset. The policy parameters corresponding to the recognized task are then loaded to perform the task. We show that this system can be scaled to incorporate a large number of tasks due to the small memory footprint and fewer computational resources. We perform experiments on our DeLL (Deployment for Lifelong Learning) benchmark on the Atari games to determine the efficacy of the system.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google