Steering Your Generalists: Improving Robotic Foundation Models via Value Guidance

要約

さまざまなデモンストレーション データセットでトレーニングされた大規模な汎用ロボット ポリシーは、さまざまなシーンでさまざまなロボットを制御することと、幅広い操作スキルのレパートリーを取得することの両方に非常に効果的であることが示されています。
ただし、このようなポリシーのトレーニングに使用されるデータの品質は一般的にさまざまです。人間が収集したデモンストレーションではタスクを完璧に実行できない可能性が低いだけでなく、データセットが大きくなるほど、最高品質の例だけを厳選することが難しくなります。
また、ある実施形態からのデータが別の実施形態でのトレーニングにどの程度最適であるかは不明のままである。
この論文では、オフライン RL を通じて学習した価値関数に従ってロボットのアクションを再ランク付けすることで、展開時にそのようなジェネラリスト ロボット ポリシーのパフォーマンスを向上させる、一般的で広く適用可能なアプローチを紹介します。
このアプローチは、Value-Guided Policy Steering (V-GPS) と呼ばれており、ポリシーの重みを微調整したり、アクセスしたりする必要がなく、幅広いさまざまなジェネラリスト ポリシーと互換性があります。
私たちは、異なるデータセットでトレーニングされたにもかかわらず、同じ値関数が異なるアーキテクチャを持つ 5 つの異なる最先端のポリシーのパフォーマンスを向上させ、合計 12 のタスクにわたって複数のロボット プラットフォームで一貫したパフォーマンスの向上を達成できることを示します。
コードとビデオは、https://nakamotoo.github.io/V-GPS でご覧いただけます。

要約(オリジナル)

Large, general-purpose robotic policies trained on diverse demonstration datasets have been shown to be remarkably effective both for controlling a variety of robots in a range of different scenes, and for acquiring broad repertoires of manipulation skills. However, the data that such policies are trained on is generally of mixed quality — not only are human-collected demonstrations unlikely to perform the task perfectly, but the larger the dataset is, the harder it is to curate only the highest quality examples. It also remains unclear how optimal data from one embodiment is for training on another embodiment. In this paper, we present a general and broadly applicable approach that enhances the performance of such generalist robot policies at deployment time by re-ranking their actions according to a value function learned via offline RL. This approach, which we call Value-Guided Policy Steering (V-GPS), is compatible with a wide range of different generalist policies, without needing to fine-tune or even access the weights of the policy. We show that the same value function can improve the performance of five different state-of-the-art policies with different architectures, even though they were trained on distinct datasets, attaining consistent performance improvement on multiple robotic platforms across a total of 12 tasks. Code and videos can be found at: https://nakamotoo.github.io/V-GPS

arxiv情報

提供元, 利用サービス

arxiv.jp, Google