MUTEX: Learning Unified Policies from Multimodal Task Specifications

要約

人間は、音声、テキスト、画像、ビデオなどのさまざまな手段を使用して、意図や目標をチームメイトに伝えます。
ロボットがより良いアシスタントになるためには、ロボットに指示に従い、人間のパートナーによって指定されたタスクを理解する能力を与えることを目指しています。
ほとんどのロボット ポリシー学習手法は、豊富なクロスモーダル情報を無視して、タスク仕様の 1 つのモダリティに焦点を当ててきました。
マルチモーダルなタスク仕様からポリシーを学習するための統合アプローチである MUTEX を紹介します。
これは、マスクされたモデリングとクロスモーダル マッチング目標を 2 段階のトレーニング手順で組み合わせて、クロスモーダル推論を容易にするトランスフォーマー ベースのアーキテクチャをトレーニングします。
トレーニング後、MUTEX は、学習した 6 つのモダリティ (ビデオ デモンストレーション、目標画像、テキスト目標説明、テキスト指示、音声目標説明、および音声指示) のいずれか、またはそれらの組み合わせでタスク仕様に従うことができます。
私たちは、シミュレーションでは 100 のタスク、現実世界では 50 のタスクを含む新しく設計されたデータセットで MUTEX のメリットを系統的に評価し、さまざまなモダリティのタスク仕様の複数のインスタンスで注釈を付け、単一のモダリティ専用にトレーニングされたメソッドと比べてパフォーマンスが向上していることを観察しました。
詳細については、https://ut-austin-rpl.github.io/MUTEX/ をご覧ください。

要約(オリジナル)

Humans use different modalities, such as speech, text, images, videos, etc., to communicate their intent and goals with teammates. For robots to become better assistants, we aim to endow them with the ability to follow instructions and understand tasks specified by their human partners. Most robotic policy learning methods have focused on one single modality of task specification while ignoring the rich cross-modal information. We present MUTEX, a unified approach to policy learning from multimodal task specifications. It trains a transformer-based architecture to facilitate cross-modal reasoning, combining masked modeling and cross-modal matching objectives in a two-stage training procedure. After training, MUTEX can follow a task specification in any of the six learned modalities (video demonstrations, goal images, text goal descriptions, text instructions, speech goal descriptions, and speech instructions) or a combination of them. We systematically evaluate the benefits of MUTEX in a newly designed dataset with 100 tasks in simulation and 50 tasks in the real world, annotated with multiple instances of task specifications in different modalities, and observe improved performance over methods trained specifically for any single modality. More information at https://ut-austin-rpl.github.io/MUTEX/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google