Text2Reward: Automated Dense Reward Function Generation for Reinforcement Learning

要約

報酬関数の設計は、強化学習 (RL) における長年の課題です。
専門的な知識やドメインデータが必要となるため、開発コストが高くなります。
これに対処するために、大規模言語モデル (LLM) に基づいて高密度の報酬関数の生成を自動化するデータフリー フレームワークである Text2Reward を導入します。
自然言語で記述された目標が与えられると、Text2Reward は環境のコンパクトな表現に基づいた実行可能プログラムとして高密度の報酬関数を生成します。
逆 RL や、LLM を使用してスパース報酬コードを記述する最近の研究とは異なり、Text2Reward は、幅広いタスクをカバーし、既存のパッケージを利用し、人間のフィードバックによる反復的な改良を可能にする、解釈可能な自由形式の高密度報酬コードを生成します。
Text2Reward を 2 つのロボット操作ベンチマーク (ManiSkill2、MetaWorld) と MuJoCo の 2 つの移動環境で評価します。
17 の操作タスクのうち 13 では、生成された報酬コードを使用してトレーニングされたポリシーは、専門家が作成した報酬コードと同等以上のタスク成功率と収束速度を達成しました。
移動タスクの場合、私たちのメソッドは 94% を超える成功率で 6 つの新しい移動動作を学習します。
さらに、私たちの方法を使用してシミュレーターでトレーニングされたポリシーが現実世界に展開できることを示します。
最後に、Text2Reward は、人間のフィードバックによって報酬関数を洗練することで、ポリシーをさらに改善します。
ビデオ結果は https://text-to-reward.github.io でご覧いただけます。

要約(オリジナル)

Designing reward functions is a longstanding challenge in reinforcement learning (RL); it requires specialized knowledge or domain data, leading to high costs for development. To address this, we introduce Text2Reward, a data-free framework that automates the generation of dense reward functions based on large language models (LLMs). Given a goal described in natural language, Text2Reward generates dense reward functions as an executable program grounded in a compact representation of the environment. Unlike inverse RL and recent work that uses LLMs to write sparse reward codes, Text2Reward produces interpretable, free-form dense reward codes that cover a wide range of tasks, utilize existing packages, and allow iterative refinement with human feedback. We evaluate Text2Reward on two robotic manipulation benchmarks (ManiSkill2, MetaWorld) and two locomotion environments of MuJoCo. On 13 of the 17 manipulation tasks, policies trained with generated reward codes achieve similar or better task success rates and convergence speed than expert-written reward codes. For locomotion tasks, our method learns six novel locomotion behaviors with a success rate exceeding 94%. Furthermore, we show that the policies trained in the simulator with our method can be deployed in the real world. Finally, Text2Reward further improves the policies by refining their reward functions with human feedback. Video results are available at https://text-to-reward.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google