Video-Language Critic: Transferable Reward Functions for Language-Conditioned Robotics

要約

多くの場合、自然言語は、人間がロボットのタスクを指定するための最も簡単で便利な手段です。
ただし、言語と行動の基礎を学ぶには、通常、各ターゲット ロボットで収集された、非現実的な量の多様な言語注釈付きのデモンストレーションが必要です。
この研究では、何を達成するかという問題とそれをどのように達成するかという問題を分離することを目指しています。前者は大量の外部観察のみのデータから恩恵を受けることができ、後者のみが特定のロボットの実施形態に依存するからです。
この目的を達成するために、我々は、対比学習と時間的ランキング目標を使用して、すぐに利用可能なクロス実施形態データでトレーニングできる報酬モデルである Video-Language Critic を提案し、それを使用して、別の強化学習アクターからの行動追跡をスコアリングします。
Open X-Embodiment データでトレーニングされた場合、当社の報酬モデルは、ドメイン ギャップが大きいにもかかわらず、メタワールド タスクでのサンプル効率の高いポリシー トレーニングを、スパース報酬だけの場合よりも 2 倍有効にします。
ドメイン内データを使用しますが、メタワールド上の困難なタスク汎化設定では、バイナリ分類でトレーニングされるか、静的画像を使用するか、または使用しない、以前の言語条件付き報酬モデルで可能であったものよりもサンプル効率の高いトレーニングをさらに実証します。
ビデオ データに存在する時間情報を活用します。

要約(オリジナル)

Natural language is often the easiest and most convenient modality for humans to specify tasks for robots. However, learning to ground language to behavior typically requires impractical amounts of diverse, language-annotated demonstrations collected on each target robot. In this work, we aim to separate the problem of what to accomplish from how to accomplish it, as the former can benefit from substantial amounts of external observation-only data, and only the latter depends on a specific robot embodiment. To this end, we propose Video-Language Critic, a reward model that can be trained on readily available cross-embodiment data using contrastive learning and a temporal ranking objective, and use it to score behavior traces from a separate reinforcement learning actor. When trained on Open X-Embodiment data, our reward model enables 2x more sample-efficient policy training on Meta-World tasks than a sparse reward only, despite a significant domain gap. Using in-domain data but in a challenging task generalization setting on Meta-World, we further demonstrate more sample-efficient training than is possible with prior language-conditioned reward models that are either trained with binary classification, use static images, or do not leverage the temporal information present in video data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google