A3VLM: Actionable Articulation-Aware Vision Language Model

要約

ビジョン言語モデル (VLM) は、ロボット工学コミュニティで近年大きな注目を集めています。
VLM は、複雑な視覚的推論とシーン理解タスクを実行できることが示されており、操作やナビゲーションなどの一般的なロボット工学の問題に対する潜在的な普遍的な解決策とみなされています。
ただし、RT-1、RT-2、ManipLLM などのこれまでのロボット工学用 VLM は、ロボット中心のアクションを直接学習することに重点を置いていました。
このようなアプローチでは、大量のロボット インタラクション データを収集する必要があり、現実世界では非常にコストがかかります。
したがって、我々は、オブジェクト中心で、実用的で、アーティキュレーションを意識したビジョン言語モデルである A3VLM を提案します。
A3VLM は、オブジェクトの関節構造とアクション アフォーダンスに焦点を当てています。
その表現はロボットに依存せず、単純なアクション プリミティブを使用してロボットのアクションに変換できます。
シミュレーション ベンチマークと現実世界の設定の両方における広範な実験により、A3VLM の有効性と安定性が実証されています。
コードとその他の資料は https://github.com/changhaonan/A3VLM でリリースされています。

要約(オリジナル)

Vision Language Models (VLMs) have received significant attention in recent years in the robotics community. VLMs are shown to be able to perform complex visual reasoning and scene understanding tasks, which makes them regarded as a potential universal solution for general robotics problems such as manipulation and navigation. However, previous VLMs for robotics such as RT-1, RT-2, and ManipLLM have focused on directly learning robot-centric actions. Such approaches require collecting a significant amount of robot interaction data, which is extremely costly in the real world. Thus, we propose A3VLM, an object-centric, actionable, articulation-aware vision language model. A3VLM focuses on the articulation structure and action affordances of objects. Its representation is robot-agnostic and can be translated into robot actions using simple action primitives. Extensive experiments in both simulation benchmarks and real-world settings demonstrate the effectiveness and stability of A3VLM. We release our code and other materials at https://github.com/changhaonan/A3VLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google