Diffusion Reward: Learning Rewards via Conditional Video Diffusion

要約

エキスパートのビデオからの学習報酬は、強化学習タスクの意図された動作を指定するための手頃な価格で効果的なソリューションを提供します。
この研究では、複雑な視覚的 RL 問題を解決するために、条件付きビデオ拡散モデルを介してエキスパート ビデオから報酬を学習する新しいフレームワークである Diffusion Reward を提案します。
私たちの重要な洞察は、専門家の軌跡に基づいて条件付けすると、生成的多様性の低下が観察されるということです。
したがって、拡散報酬は、専門家のような行動の生産的な探求を促進する条件付きエントロピーの否定によって形式化されます。
視覚入力とまばらな報酬を使用した MetaWorld と Adroit の 10 個のロボット操作タスクにわたって、このメソッドの有効性を示します。
さらに、Diffusion Reward は、目に見えないタスクを首尾よく効果的に解決することもでき、基本的な手法を大幅に上回りました。
プロジェクトページとコード: https://diffusion-reward.github.io/。

要約(オリジナル)

Learning rewards from expert videos offers an affordable and effective solution to specify the intended behaviors for reinforcement learning tasks. In this work, we propose Diffusion Reward, a novel framework that learns rewards from expert videos via conditional video diffusion models for solving complex visual RL problems. Our key insight is that lower generative diversity is observed when conditioned on expert trajectories. Diffusion Reward is accordingly formalized by the negative of conditional entropy that encourages productive exploration of expert-like behaviors. We show the efficacy of our method over 10 robotic manipulation tasks from MetaWorld and Adroit with visual input and sparse reward. Moreover, Diffusion Reward could even solve unseen tasks successfully and effectively, largely surpassing baseline methods. Project page and code: https://diffusion-reward.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google