OPEN TEACH: A Versatile Teleoperation System for Robotic Manipulation

要約

オープンソースのユーザーフレンドリーなツールは、さまざまな分野にわたる科学の進歩の基盤を形成します。
データ駆動型学習の普及により、多指の器用さ、両手操作、物流から家庭用ロボットに至るまでの応用が目覚ましい進歩を遂げました。
しかし、既存のデータ収集プラットフォームは多くの場合、独自のもので高価であるか、特定のロボットの形態に合わせて調整されています。
VR ヘッドセットを活用してユーザーを複合現実に没入させ、直感的なロボット制御を実現する新しい遠隔操作システム OPEN TEACH を紹介します。
OPEN TEACH は、500 ドルの手頃な価格の Meta Quest 3 をベースに構築されており、使いやすいアプリを通じて、多指ハンドや両手アームを含むさまざまなロボットのリアルタイム制御を可能にします。
ユーザーは、自然な手のジェスチャーと動きを使用して、スムーズな視覚的フィードバックとクローズアップ環境ビューを提供するインターフェイス ウィジェットを使用して、最大 90Hz でロボットを操作できます。
さまざまなロボットの 38 のタスクにわたる OPEN TEACH の多用途性を実証します。
包括的なユーザー調査では、AnyTeleop フレームワークと比較して遠隔操作機能が大幅に向上していることが示されています。
さらなる実験により、収集されたデータが、10 個の器用で接触の多い操作タスクに関するポリシー学習と互換性があることが示されました。
現在、Franka、xArm、Jaco、および Allegro プラットフォームをサポートしている OPEN TEACH は、より広範な採用を促進するために完全にオープンソースです。
ビデオは https://open-teach.github.io/ でご覧いただけます。

要約(オリジナル)

Open-sourced, user-friendly tools form the bedrock of scientific advancement across disciplines. The widespread adoption of data-driven learning has led to remarkable progress in multi-fingered dexterity, bimanual manipulation, and applications ranging from logistics to home robotics. However, existing data collection platforms are often proprietary, costly, or tailored to specific robotic morphologies. We present OPEN TEACH, a new teleoperation system leveraging VR headsets to immerse users in mixed reality for intuitive robot control. Built on the affordable Meta Quest 3, which costs $500, OPEN TEACH enables real-time control of various robots, including multi-fingered hands and bimanual arms, through an easy-to-use app. Using natural hand gestures and movements, users can manipulate robots at up to 90Hz with smooth visual feedback and interface widgets offering closeup environment views. We demonstrate the versatility of OPEN TEACH across 38 tasks on different robots. A comprehensive user study indicates significant improvement in teleoperation capability over the AnyTeleop framework. Further experiments exhibit that the collected data is compatible with policy learning on 10 dexterous and contact-rich manipulation tasks. Currently supporting Franka, xArm, Jaco, and Allegro platforms, OPEN TEACH is fully open-sourced to promote broader adoption. Videos are available at https://open-teach.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google