Physically Grounded Vision-Language Models for Robotic Manipulation

要約

ビジョン言語モデル (VLM) の最近の進歩により、視覚的な質問応答や画像キャプションなどのタスクのパフォーマンスが向上しました。
その結果、これらのモデルは現在、特にロボット操作などの領域において、物理世界について推論するのに適した位置にあります。
しかし、現在の VLM は、一般的な物体の物理的概念 (材質、脆弱性など) の理解に限界があり、そのような物体に関するインタラクションや物理的推論を伴うロボット操作タスクでの VLM の有用性は制限されています。
この制限に対処するために、私たちは PhysObjects を提案します。これは、一般的な家庭用オブジェクトの 39.6K のクラウドソースと 417K の自動化された物理概念アノテーションからなるオブジェクト中心のデータセットです。
我々は、PhysObjects 上で VLM を微調整することで、視覚的な外観からこれらの概念に対する人間の事前情報を捕捉することで、従来の概念への一般化を含め、物理オブジェクトの概念の理解を向上させることを実証します。
この物理的に接地された VLM を、大規模な言語モデルベースのロボット プランナーを備えた対話型フレームワークに組み込み、物理的に接地された VLM を利用しないベースラインと比較して、物理オブジェクトの概念についての推論が必要なタスクの計画パフォーマンスが向上することを示しました。
さらに、実際のロボット上で物理的に接地された VLM の利点を説明し、タスクの成功率を向上させます。
データセットをリリースし、結果の詳細と視覚化を https://iliad.stanford.edu/pg-vlm/ で提供します。

要約(オリジナル)

Recent advances in vision-language models (VLMs) have led to improved performance on tasks such as visual question answering and image captioning. Consequently, these models are now well-positioned to reason about the physical world, particularly within domains such as robotic manipulation. However, current VLMs are limited in their understanding of the physical concepts (e.g., material, fragility) of common objects, which restricts their usefulness for robotic manipulation tasks that involve interaction and physical reasoning about such objects. To address this limitation, we propose PhysObjects, an object-centric dataset of 39.6K crowd-sourced and 417K automated physical concept annotations of common household objects. We demonstrate that fine-tuning a VLM on PhysObjects improves its understanding of physical object concepts, including generalization to held-out concepts, by capturing human priors of these concepts from visual appearance. We incorporate this physically-grounded VLM in an interactive framework with a large language model-based robotic planner, and show improved planning performance on tasks that require reasoning about physical object concepts, compared to baselines that do not leverage physically-grounded VLMs. We additionally illustrate the benefits of our physically-grounded VLM on a real robot, where it improves task success rates. We release our dataset and provide further details and visualizations of our results at https://iliad.stanford.edu/pg-vlm/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google