Learning Wheelchair Tennis Navigation from Broadcast Videos with Domain Knowledge Transfer and Diffusion Motion Planning

要約

このペーパーでは、専門家のスポーツナビゲーション戦略をWebビデオから敵対的な制約と分散型画像の軌跡を備えたロボットシステムに蒸留する、斬新で一般化可能なゼロショットの知識転送フレームワークを提案します。
パイプラインは、複数の部分ビューから完全な3Dタスクスペースを再構築し、2Dイメージスペースにゆがめ、この2Dスペース内の計画ループを閉じ、関心のある動きをタスクスペースに転送することにより、拡散ベースの模倣学習を可能にします。
さらに、学習ポリシーがポジションコントロールと併せてローカルプランナーとして機能することを実証します。
車椅子のテニスナビゲーション問題にこのフレームワークを適用して、車椅子をボールヒッティング領域に導きます。
当社のパイプラインは、物理的なロボット車椅子で現実世界の記録されたテニスボール軌道に到達する際に97.67％のナビゲーション成功率を達成し、フルサイズのテニスコートでの実際のリアルタイムの実験で68.49％の成功率を達成します。

要約(オリジナル)

In this paper, we propose a novel and generalizable zero-shot knowledge transfer framework that distills expert sports navigation strategies from web videos into robotic systems with adversarial constraints and out-of-distribution image trajectories. Our pipeline enables diffusion-based imitation learning by reconstructing the full 3D task space from multiple partial views, warping it into 2D image space, closing the planning loop within this 2D space, and transfer constrained motion of interest back to task space. Additionally, we demonstrate that the learned policy can serve as a local planner in conjunction with position control. We apply this framework in the wheelchair tennis navigation problem to guide the wheelchair into the ball-hitting region. Our pipeline achieves a navigation success rate of 97.67% in reaching real-world recorded tennis ball trajectories with a physical robot wheelchair, and achieve a success rate of 68.49% in a real-world, real-time experiment on a full-sized tennis court.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google