GPT-4V(ision) for Robotics: Multimodal Task Planning from Human Demonstration

要約

本論文では、汎用視覚言語モデルGPT-4V(ision)を拡張し、ロボット操作のための一発視覚教示を容易にするパイプラインを紹介する。このシステムは、人間がタスクを実行しているビデオを解析し、アフォーダンスの洞察を組み込んだ実行可能なロボットプログラムを出力する。まず、GPT-4Vが映像を解析し、環境や動作の詳細をテキストで説明する。次に、GPT-4ベースのタスクプランナーが、これらの詳細をシンボリックなタスクプランにエンコードする。その後、視覚システムが空間的・時間的にタスクプランをビデオに接地する。物体はオープンボキャブラリーオブジェクト検出器を用いて識別され、手と物体の相互作用が分析され、把持と解放の瞬間が特定される。この時空間的なグラウンディングにより、ロボットの実行に重要なアフォーダンス情報（把持タイプ、ウェイポイント、身体姿勢など）を収集することができる。様々なシナリオでの実験により、この手法が人間の実演から実際のロボットの操作を一発で実現する有効性を実証している。一方、定量的なテストにより、GPT-4Vでは幻覚の事例が発見され、パイプライン内に人間の監視を組み込むことの重要性が浮き彫りになった。GPT-4V/GPT-4のプロンプトはこちらのプロジェクトページで公開されています：

要約(オリジナル)

We introduce a pipeline that enhances a general-purpose Vision Language Model, GPT-4V(ision), to facilitate one-shot visual teaching for robotic manipulation. This system analyzes videos of humans performing tasks and outputs executable robot programs that incorporate insights into affordances. The process begins with GPT-4V analyzing the videos to obtain textual explanations of environmental and action details. A GPT-4-based task planner then encodes these details into a symbolic task plan. Subsequently, vision systems spatially and temporally ground the task plan in the videos. Object are identified using an open-vocabulary object detector, and hand-object interactions are analyzed to pinpoint moments of grasping and releasing. This spatiotemporal grounding allows for the gathering of affordance information (e.g., grasp types, waypoints, and body postures) critical for robot execution. Experiments across various scenarios demonstrate the method’s efficacy in achieving real robots’ operations from human demonstrations in a one-shot manner. Meanwhile, quantitative tests have revealed instances of hallucination in GPT-4V, highlighting the importance of incorporating human supervision within the pipeline. The prompts of GPT-4V/GPT-4 are available at this project page:

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL