Projected Task-Specific Layers for Multi-Task Reinforcement Learning

要約

マルチタスク強化学習により、ロボットは家庭や職場のさまざまな操作タスクに拡張できるようになる可能性があります。
ただし、あるタスクを別のタスクに一般化し、マイナスのタスク干渉を軽減することは依然として課題です。
タスク間で情報をうまく共有することでこの課題に対処できるかどうかは、タスクの基礎となる構造をどの程度正確に把握できるかにかかっています。
この作業では、新しいアーキテクチャである投影タスク固有レイヤー (PTSL) を導入します。これは、タスク固有レイヤーを介した高密度のタスク固有の修正を含む共通ポリシーを活用して、共有タスク情報と可変タスク情報をより適切に表現します。
次に、Sawyer アームの 10 および 50 の目標条件付きタスクで構成されるメタワールドの MT10 および MT50 ベンチマークで、このモデルが最先端のパフォーマンスを上回っていることを示します。

要約(オリジナル)

Multi-task reinforcement learning could enable robots to scale across a wide variety of manipulation tasks in homes and workplaces. However, generalizing from one task to another and mitigating negative task interference still remains a challenge. Addressing this challenge by successfully sharing information across tasks will depend on how well the structure underlying the tasks is captured. In this work, we introduce our new architecture, Projected Task-Specific Layers (PTSL), that leverages a common policy with dense task-specific corrections through task-specific layers to better express shared and variable task information. We then show that our model outperforms the state of the art on the MT10 and MT50 benchmarks of Meta-World consisting of 10 and 50 goal-conditioned tasks for a Sawyer arm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google