dARt Vinci: Egocentric Data Collection for Surgical Robot Learning at Scale

要約

データ不足は、ロボット学習コミュニティで長い間問題でした。
特に、手術用途などの安全性の高いドメインでは、高品質のデータを取得することは特に難しい場合があります。
これは、補強学習と模倣学習の最近の進歩を活用しようとする研究者に課題をもたらし、一般化性を大幅に改善し、ロボットがタスクを自律的に実行できるようにしました。
手術環境でのロボット学習のためのスケーラブルなデータ収集プラットフォームであるDart Vinciを紹介します。
このシステムは、拡張現実（AR）ハンドトラッキングと高忠実度の物理エンジンを使用して、原始的な外科的タスクのサブトル操作をキャプチャします。物理的ロボットのセットアップの必要性を排除し、時間、スペース、ハードウェアリソース、マルチビューセンサー、アクチュエーター特性化されたシミュレーションなどの柔軟性を提供することにより、実証的なシミュレーションです。
同時に、ARはロボットデータ収集をより自己中心的にし、そのボディトラッキングとコンテンツのオーバーレイ機能によってサポートされます。
ユーザー調査では、提案されたシステムの効率と使いやすさが確認されています。ここでは、Da Vinciの手術ロボットでの操作をトレーニングするために広く使用されている原始的なタスクを使用しています。
データスループットは、実際のロボット設定と比較して、平均して41％のすべてのタスクで改善されます。
合計実験時間は平均10％短縮されます。
タスク負荷調査の時間的需要が改善されました。
これらの利益は統計的に有意です。
さらに、収集されたデータのサイズは400倍以上小さく、頻度の2倍を達成しながらはるかに少ないストレージが必要です。

要約(オリジナル)

Data scarcity has long been an issue in the robot learning community. Particularly, in safety-critical domains like surgical applications, obtaining high-quality data can be especially difficult. It poses challenges to researchers seeking to exploit recent advancements in reinforcement learning and imitation learning, which have greatly improved generalizability and enabled robots to conduct tasks autonomously. We introduce dARt Vinci, a scalable data collection platform for robot learning in surgical settings. The system uses Augmented Reality (AR) hand tracking and a high-fidelity physics engine to capture subtle maneuvers in primitive surgical tasks: By eliminating the need for a physical robot setup and providing flexibility in terms of time, space, and hardware resources-such as multiview sensors and actuators-specialized simulation is a viable alternative. At the same time, AR allows the robot data collection to be more egocentric, supported by its body tracking and content overlaying capabilities. Our user study confirms the proposed system’s efficiency and usability, where we use widely-used primitive tasks for training teleoperation with da Vinci surgical robots. Data throughput improves across all tasks compared to real robot settings by 41% on average. The total experiment time is reduced by an average of 10%. The temporal demand in the task load survey is improved. These gains are statistically significant. Additionally, the collected data is over 400 times smaller in size, requiring far less storage while achieving double the frequency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google