ManiWAV: Learning Robot Manipulation from In-the-Wild Audio-Visual Data

要約

音声信号は、ロボットの相互作用や接触による物体の特性に関する豊富な情報を提供します。
これらの情報は、特に視覚情報だけでは曖昧または不完全な場合に、接触が多いロボット操作スキルの学習を驚くほど容易にします。
ただし、ロボット操作における音声データの使用は、ロボットまたは物体にマイクを取り付けて収集された遠隔操作のデモンストレーションに限定されており、ロボット学習パイプラインでの使用は大幅に制限されています。
この研究では、ManiWAV を紹介します。これは、同期した音声と視覚のフィードバックを使用して、自然環境での人間のデモンストレーションを収集するための「耳を傾ける」データ収集デバイスと、デモンストレーションから直接ロボット操作ポリシーを学習するための対応するポリシー インターフェイスです。
接触イベントとモードを受動的に感知するか、物体表面の材質と状態を能動的に感知する必要がある 4 つの接触が豊富な操作タスクを通じて、システムの機能を実証します。
さらに、私たちのシステムは、野生における人間の多様なデモンストレーションから学習することで、目に見えない野生環境にも一般化できることを示します。
プロジェクトWebサイト：https://mani-wav.github.io/

要約(オリジナル)

Audio signals provide rich information for the robot interaction and object properties through contact. These information can surprisingly ease the learning of contact-rich robot manipulation skills, especially when the visual information alone is ambiguous or incomplete. However, the usage of audio data in robot manipulation has been constrained to teleoperated demonstrations collected by either attaching a microphone to the robot or object, which significantly limits its usage in robot learning pipelines. In this work, we introduce ManiWAV: an ‘ear-in-hand’ data collection device to collect in-the-wild human demonstrations with synchronous audio and visual feedback, and a corresponding policy interface to learn robot manipulation policy directly from the demonstrations. We demonstrate the capabilities of our system through four contact-rich manipulation tasks that require either passively sensing the contact events and modes, or actively sensing the object surface materials and states. In addition, we show that our system can generalize to unseen in-the-wild environments, by learning from diverse in-the-wild human demonstrations. Project website: https://mani-wav.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google