CHIRPs: Change-Induced Regret Proxy metrics for Lifelong Reinforcement Learning

要約

強化学習エージェントは静的タスクで超人的なパフォーマンスを達成できますが、トレーニングにコストがかかり、タスクの変更にも脆弱です。
これにより、トレーニング経験に費用がかかる場合や、センサーの劣化、環境プロセス、ミッションの優先順位の変更などの要因によって状況が変化する場合、現実世界のシナリオでの導入が制限されます。
生涯強化学習は、進化する問題においてエージェントがどのように機能するかを研究することで、サンプルの効率と適応性を向上させることを目的としています。
ただし、これらの変更がエージェントにもたらす困難が直接測定されることはほとんどありません。
エージェントのパフォーマンスを変更全体で比較することはできますが、これには法外なコストがかかることがよくあります。
私たちは、トレーニングを受けたエージェントの使用による高いコストを回避しながら、変更の難易度を概算するためのメトリクスのクラスである、Change-Induced Regret Proxy (CHIRP) メトリクスを提案します。
CHIRP メトリクスとエージェントのパフォーマンスの関係は、単純なグリッド ワールドと MetaWorld のロボット アーム タスク スイートの 2 つの環境で特定されます。
これらのメトリクスの 2 つの用途を示します。学習の場合、CHIRP メトリクスに基づいて MDP をクラスタリングするエージェントは、一連の MetaWorld タスクで既存の 3 つのエージェントよりも $17\%$ 高い平均収益を達成します。
また、明らかに異なる環境間での変更の難易度を比較するために CHIRP を調整する方法も示します。

要約(オリジナル)

Reinforcement learning agents can achieve superhuman performance in static tasks but are costly to train and fragile to task changes. This limits their deployment in real-world scenarios where training experience is expensive or the context changes through factors like sensor degradation, environmental processes or changing mission priorities. Lifelong reinforcement learning aims to improve sample efficiency and adaptability by studying how agents perform in evolving problems. The difficulty that these changes pose to an agent is rarely measured directly, however. Agent performances can be compared across a change, but this is often prohibitively expensive. We propose Change-Induced Regret Proxy (CHIRP) metrics, a class of metrics for approximating a change’s difficulty while avoiding the high costs of using trained agents. A relationship between a CHIRP metric and agent performance is identified in two environments, a simple grid world and MetaWorld’s suite of robotic arm tasks. We demonstrate two uses for these metrics: for learning, an agent that clusters MDPs based on a CHIRP metric achieves $17\%$ higher average returns than three existing agents in a sequence of MetaWorld tasks. We also show how a CHIRP can be calibrated to compare the difficulty of changes across distinctly different environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google