Open-World Object Manipulation using Pre-trained Vision-Language Models

要約

ロボットが人間の指示に従うためには、人間の語彙に含まれる豊富な意味情報を結び付けることができなければなりません。
「ピンクのクジラのぬいぐるみをもらえますか？」
彼らの感覚的な観察と行動に。
これは、ロボットにとって特に困難な課題をもたらします。ロボット学習アプローチにより、ロボットは直接の経験からさまざまな動作を学習できますが、ロボットがこの意味情報すべてにまたがる直接の経験を持つことは非現実的です。
クジラのぬいぐるみとやりとりするデータをこれまで見たことがなくても、ロボットのポリシーがピンクのクジラのぬいぐるみを認識して拾えるようにしたいと考えています。
幸いなことに、インターネット上の静的データには膨大な意味情報が含まれており、この情報は事前にトレーニングされた視覚言語モデルに取り込まれます。
この論文では、ロボットが直接見たことのないオブジェクト カテゴリを含む命令をロボットが完了できるようにすることを目的として、これらの事前トレーニング済みモデルとロボット ポリシーを連携できるかどうかを研究します。
私たちは、オープンワールド オブジェクトの操作 (MOO) と呼ぶシンプルなアプローチを開発しました。これは、事前にトレーニングされた視覚言語モデルを活用して、言語コマンドと画像からオブジェクト識別情報を抽出し、現在の状況に基づいてロボット ポリシーを条件付けします。
画像、指示、抽出されたオブジェクト情報。
実際のモバイルマニピュレータでのさまざまな実験では、MOO がゼロショットを幅広い新しいオブジェクト カテゴリと環境に一般化していることがわかりました。
さらに、指差しなどの対象オブジェクトを指定するために MOO が他の非言語ベースの入力モダリティにどのように一般化されるか、またそれをさらに拡張してオープンワールドのナビゲーションと操作を可能にする方法を示します。
プロジェクトの Web サイトと評価ビデオは https://robot-moo.github.io/ でご覧いただけます。

要約(オリジナル)

For robots to follow instructions from people, they must be able to connect the rich semantic information in human vocabulary, e.g. ‘can you get me the pink stuffed whale?’ to their sensory observations and actions. This brings up a notably difficult challenge for robots: while robot learning approaches allow robots to learn many different behaviors from first-hand experience, it is impractical for robots to have first-hand experiences that span all of this semantic information. We would like a robot’s policy to be able to perceive and pick up the pink stuffed whale, even if it has never seen any data interacting with a stuffed whale before. Fortunately, static data on the internet has vast semantic information, and this information is captured in pre-trained vision-language models. In this paper, we study whether we can interface robot policies with these pre-trained models, with the aim of allowing robots to complete instructions involving object categories that the robot has never seen first-hand. We develop a simple approach, which we call Manipulation of Open-World Objects (MOO), which leverages a pre-trained vision-language model to extract object-identifying information from the language command and image, and conditions the robot policy on the current image, the instruction, and the extracted object information. In a variety of experiments on a real mobile manipulator, we find that MOO generalizes zero-shot to a wide range of novel object categories and environments. In addition, we show how MOO generalizes to other, non-language-based input modalities to specify the object of interest such as finger pointing, and how it can be further extended to enable open-world navigation and manipulation. The project’s website and evaluation videos can be found at https://robot-moo.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google