Rank2Reward: Learning Shaped Reward Functions from Passive Video

要約

運動感覚教育や遠隔操作などの人間参加型のデータ収集技術を介して、デモンストレーションを行いながらロボットに新しいスキルを教えることは、人間の監督者に大きな負担を与えます。
このパラダイムとは対照的に、多くの場合、実行中のタスクの生のアクション不要の視覚データを提供する方がはるかに簡単です。
さらに、このデータはビデオ データセットや Web からマイニングすることもできます。
理想的には、このデータは、新しい環境での新しいタスクのロボット学習のガイドとして機能し、「何を」すべきか、「どのように」すべきかを知らせることができます。
「何を」と「どのように」の両方をエンコードする強力な方法は、強化学習用の適切な形状の報酬関数を推論することです。
課題は、視覚的なデモンストレーションの入力を適切な形状の有益な報酬関数に組み込む方法を決定することです。
私たちは、低レベルの状態やアクションにアクセスせずに実行されているタスクのビデオから行動を学習するためのテクニック Rank2Reward を提案します。
これを行うには、ビデオを活用して、デモンストレーション内のビデオ フレームを一時的にランク付けする方法を学習することで、タスクの段階的な「進捗状況」を測定する報酬関数を学習します。
報酬関数は、適切なランキングを推測することで、タスクの進行状況を示して強化学習をガイドできます。
このランキング関数を敵対的模倣学習スキームに統合すると、学習した報酬関数を利用せずに行動を学習できるアルゴリズムが得られます。
私たちは、シミュレーションと現実世界のロボット アームの両方で、多数の卓上操作タスクに関する生のビデオから動作を学習する際の Rank2Reward の有効性を実証します。
また、Rank2Reward を簡単に拡張して Web スケールのビデオ データセットに適用できる方法も示します。

要約(オリジナル)

Teaching robots novel skills with demonstrations via human-in-the-loop data collection techniques like kinesthetic teaching or teleoperation puts a heavy burden on human supervisors. In contrast to this paradigm, it is often significantly easier to provide raw, action-free visual data of tasks being performed. Moreover, this data can even be mined from video datasets or the web. Ideally, this data can serve to guide robot learning for new tasks in novel environments, informing both ‘what’ to do and ‘how’ to do it. A powerful way to encode both the ‘what’ and the ‘how’ is to infer a well-shaped reward function for reinforcement learning. The challenge is determining how to ground visual demonstration inputs into a well-shaped and informative reward function. We propose a technique Rank2Reward for learning behaviors from videos of tasks being performed without access to any low-level states and actions. We do so by leveraging the videos to learn a reward function that measures incremental ‘progress’ through a task by learning how to temporally rank the video frames in a demonstration. By inferring an appropriate ranking, the reward function is able to guide reinforcement learning by indicating when task progress is being made. This ranking function can be integrated into an adversarial imitation learning scheme resulting in an algorithm that can learn behaviors without exploiting the learned reward function. We demonstrate the effectiveness of Rank2Reward at learning behaviors from raw video on a number of tabletop manipulation tasks in both simulations and on a real-world robotic arm. We also demonstrate how Rank2Reward can be easily extended to be applicable to web-scale video datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google