DexHub and DART: Towards Internet Scale Robot Data Collection

要約

汎用的なロボット システムを構築する探求は、多様で高品質なデータの不足によって妨げられています。
現実世界のデータ収集の取り組みは存在しますが、ロボットのハードウェア、物理環境のセットアップ、頻繁なリセットの要件により、最新の学習フレームワークに必要なスケーラビリティが大幅に妨げられています。
DART はクラウドソーシング用に設計された遠隔操作プラットフォームで、クラウドベースのシミュレーションと拡張現実 (AR) を活用してロボットによるデータ収集を再考し、これまでのデータ収集作業の多くの制限に対処します。
当社のユーザー調査では、DART が現実世界の遠隔操作と比較して、より高いデータ収集スループットとより低い身体的疲労を可能にすることが強調されています。
また、DART で収集したデータセットを使用してトレーニングされたポリシーが現実にうまく移行し、目に見えない視覚障害に対して堅牢であることも実証します。
DART を通じて収集されたすべてのデータは、クラウドでホストされるデータベース DexHub に自動的に保存され、キュレーション後に一般公開され、DexHub がロボット学習の成長を続けるデータ ハブとなる道を切り開きます。
ビデオは https://dexhub.ai/project でご覧いただけます。

要約(オリジナル)

The quest to build a generalist robotic system is impeded by the scarcity of diverse and high-quality data. While real-world data collection effort exist, requirements for robot hardware, physical environment setups, and frequent resets significantly impede the scalability needed for modern learning frameworks. We introduce DART, a teleoperation platform designed for crowdsourcing that reimagines robotic data collection by leveraging cloud-based simulation and augmented reality (AR) to address many limitations of prior data collection efforts. Our user studies highlight that DART enables higher data collection throughput and lower physical fatigue compared to real-world teleoperation. We also demonstrate that policies trained using DART-collected datasets successfully transfer to reality and are robust to unseen visual disturbances. All data collected through DART is automatically stored in our cloud-hosted database, DexHub, which will be made publicly available upon curation, paving the path for DexHub to become an ever-growing data hub for robot learning. Videos are available at: https://dexhub.ai/project

arxiv情報

提供元, 利用サービス

arxiv.jp, Google