LIV: Language-Image Representations and Rewards for Robotic Control

要約

私たちは、視覚言語表現とテキスト注釈付きのアクションフリービデオからの報酬学習のための統一目標である言語画像価値学習 (LIV) を提示します。
LIV 目標は、双対強化学習と相互情報対比学習の間の新しい接続を利用して、言語または画像の目標として指定されたタスクの普遍値関数を暗黙的にエンコードするマルチモーダル表現をトレーニングします。
LIV を使用して、EpicKitchen などの大規模な人間のビデオ データセットから最初のコントロール中心のビジョン言語表現を事前トレーニングします。
言語または画像の目標のみが与えられると、事前トレーニングされた LIV モデルは、目に見えない環境でそのタスクを試みる、目に見えないロボットや人間のビデオの各フレームに高密度の報酬を割り当てることができます。
さらに、ターゲット ドメイン固有のデータが利用可能な場合、同じ目的を使用して、LIV や、そのドメインにおけるロボット制御や報酬仕様のためのその他の事前トレーニング済み表現を微調整および改善することができます。
いくつかのシミュレートされた現実世界のロボット環境での実験では、LIV モデルは、模倣学習のための最良の事前入力状態表現や、ポリシー合成のための報酬指定方法を常に上回っています。
私たちの結果は、統合されたコンパクトな LIV フレームワーク内での共同視覚言語表現と報酬学習の利点を検証します。

要約(オリジナル)

We present Language-Image Value learning (LIV), a unified objective for vision-language representation and reward learning from action-free videos with text annotations. Exploiting a novel connection between dual reinforcement learning and mutual information contrastive learning, the LIV objective trains a multi-modal representation that implicitly encodes a universal value function for tasks specified as language or image goals. We use LIV to pre-train the first control-centric vision-language representation from large human video datasets such as EpicKitchen. Given only a language or image goal, the pre-trained LIV model can assign dense rewards to each frame in videos of unseen robots or humans attempting that task in unseen environments. Further, when some target domain-specific data is available, the same objective can be used to fine-tune and improve LIV and even other pre-trained representations for robotic control and reward specification in that domain. In our experiments on several simulated and real-world robot environments, LIV models consistently outperform the best prior input state representations for imitation learning, as well as reward specification methods for policy synthesis. Our results validate the advantages of joint vision-language representation and reward learning within the unified, compact LIV framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google