GPT-4V(ision) for Robotics: Multimodal Task Planning from Human Demonstration

要約

ロボット操作のワンショット視覚教育を容易にするために、汎用ビジョン言語モデル GPT-4V(ision) を強化するパイプラインを紹介します。
このシステムは、人間がタスクを実行するビデオを分析し、アフォーダンスへの洞察を組み込んだ実行可能なロボット プログラムを出力します。
このプロセスは、GPT-4V がビデオを分析して、環境と行動の詳細についてのテキストによる説明を取得することから始まります。
GPT-4 ベースのタスク プランナーは、これらの詳細をシンボリック タスク プランにエンコードします。
その後、ビジョン システムがビデオ内のタスク プランを空間的および時間的に定着させます。
オープンボキャブラリーのオブジェクト検出器を使用してオブジェクトを識別し、手とオブジェクトの相互作用を分析して、握ったり放したりする瞬間を正確に特定します。
この時空間接地により、ロボットの実行に重要なアフォーダンス情報 (把握タイプ、ウェイポイント、身体姿勢など) の収集が可能になります。
さまざまなシナリオにわたる実験により、人間によるデモンストレーションから実際のロボットの動作をワンショットで実現するこの方法の有効性が実証されています。
一方、定量的テストでは GPT-4V における幻覚の例が明らかになり、パイプライン内に人間の監視を組み込むことの重要性が強調されています。
GPT-4V/GPT-4 のプロンプトは、このプロジェクト ページで入手できます: https://microsoft.github.io/GPT4Vision-Robot-Manipulation-Prompts/

要約(オリジナル)

We introduce a pipeline that enhances a general-purpose Vision Language Model, GPT-4V(ision), to facilitate one-shot visual teaching for robotic manipulation. This system analyzes videos of humans performing tasks and outputs executable robot programs that incorporate insights into affordances. The process begins with GPT-4V analyzing the videos to obtain textual explanations of environmental and action details. A GPT-4-based task planner then encodes these details into a symbolic task plan. Subsequently, vision systems spatially and temporally ground the task plan in the videos. Object are identified using an open-vocabulary object detector, and hand-object interactions are analyzed to pinpoint moments of grasping and releasing. This spatiotemporal grounding allows for the gathering of affordance information (e.g., grasp types, waypoints, and body postures) critical for robot execution. Experiments across various scenarios demonstrate the method’s efficacy in achieving real robots’ operations from human demonstrations in a one-shot manner. Meanwhile, quantitative tests have revealed instances of hallucination in GPT-4V, highlighting the importance of incorporating human supervision within the pipeline. The prompts of GPT-4V/GPT-4 are available at this project page: https://microsoft.github.io/GPT4Vision-Robot-Manipulation-Prompts/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google