Modifying RL Policies with Imagined Actions: How Predictable Policies Can Enable Users to Perform Novel Tasks

要約

ユーザーがロボットの機能を使用して、その場で創造的に問題を解決できるようにすることが重要です。
強化学習 (RL) ベースのロボットにアクセスできるユーザーは、ロボットの自律性とその動作に関する知識を利用して、新しいタスクを完了したい場合があります。
1 つの方法は、ユーザーが遠隔操作を通じてロボットのアクション スペースの一部を制御し、同時に RL ポリシーが残りの部分を制御することです。
ただし、すぐに使える RL ポリシーではこれが容易に実現できない場合があります。
たとえば、ユーザーの制御により、ポリシーの観点からロボットが障害状態になり、ユーザーが慣れていない方法でロボットが動作し、ユーザーが望むタスクの成功が妨げられる場合があります。
この研究では、この問題を形式化し、その問題に対処し、ユーザーがロボットの動作に対する期待を活用して新しいタスクを達成できるようにするための初期アルゴリズムである Imaginary Out-of-Distribution Actions (IODA) を提示します。

要約(オリジナル)

It is crucial that users are empowered to use the functionalities of a robot to creatively solve problems on the fly. A user who has access to a Reinforcement Learning (RL) based robot may want to use the robot’s autonomy and their knowledge of its behavior to complete new tasks. One way is for the user to take control of some of the robot’s action space through teleoperation while the RL policy simultaneously controls the rest. However, an out-of-the-box RL policy may not readily facilitate this. For example, a user’s control may bring the robot into a failure state from the policy’s perspective, causing it to act in a way the user is not familiar with, hindering the success of the user’s desired task. In this work, we formalize this problem and present Imaginary Out-of-Distribution Actions, IODA, an initial algorithm for addressing that problem and empowering user’s to leverage their expectation of a robot’s behavior to accomplish new tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google