Chain-of-Modality: Learning Manipulation Programs from Multimodal Human Videos with Vision-Language-Models

要約

人間のビデオから操作タスクを実行することを学ぶことは、ロボットを教えるための有望なアプローチです。
ただし、多くの操作タスクでは、視覚データだけがキャプチャできない力など、タスクの実行中に制御パラメーターを変更する必要があります。
この作業では、人間の筋肉活動を測定するアームバンドなどのセンシングデバイスを活用し、音を記録するマイクを測定し、人間の操作プロセスの詳細をキャプチャし、ロボットがタスク計画を抽出し、パラメーターを制御して同じタスクを実行できるようにします。
これを達成するために、筋肉または音声信号と組み合わせたビデオ（ビデオ）のビデオについて、ビジョン言語モデルがマルチモーダルの人間のデモデータについて推論できるようにするプロンプト戦略（COM）を紹介します。
各モダリティから情報を徐々に統合することにより、COMはタスク計画を改良し、詳細な制御パラメーターを生成し、ロボットが単一のマルチモーダルの人間ビデオプロンプトに基づいて操作タスクを実行できるようにします。
私たちの実験は、COMがベースラインと比較してタスク計画と制御パラメーターを抽出するための精度の3倍の改善を提供し、実際のロボット実験で新しいタスクのセットアップとオブジェクトに強力な一般化を提供することを示しています。
ビデオとコードはhttps://chain-of-modality.github.ioで入手できます

要約(オリジナル)

Learning to perform manipulation tasks from human videos is a promising approach for teaching robots. However, many manipulation tasks require changing control parameters during task execution, such as force, which visual data alone cannot capture. In this work, we leverage sensing devices such as armbands that measure human muscle activities and microphones that record sound, to capture the details in the human manipulation process, and enable robots to extract task plans and control parameters to perform the same task. To achieve this, we introduce Chain-of-Modality (CoM), a prompting strategy that enables Vision Language Models to reason about multimodal human demonstration data — videos coupled with muscle or audio signals. By progressively integrating information from each modality, CoM refines a task plan and generates detailed control parameters, enabling robots to perform manipulation tasks based on a single multimodal human video prompt. Our experiments show that CoM delivers a threefold improvement in accuracy for extracting task plans and control parameters compared to baselines, with strong generalization to new task setups and objects in real-world robot experiments. Videos and code are available at https://chain-of-modality.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google