Few-shot Sim2Real Based on High Fidelity Rendering with Force Feedback Teleoperation

要約

テレオ操作は、ロボットデータ収集と人間とロボットの相互作用に対する有望なアプローチを提供します。
ただし、データ収集のための既存のテレオ操作方法は、時間と空間の効率的な制約によって依然として制限されており、シミュレーションベースのデータ収集のパイプラインは不明のままです。
問題は、現実世界のデータへの依存を最小限に抑えながら、タスクのパフォーマンスを向上させる方法です。
この課題に対処するために、シミュレーションにおけるロボット操作データを収集し、いくつかのショットからリアルまでの視覚運動ポリシーをトレーニングするためのテレオ操作パイプラインを提案します。
フォースフィードバックデバイスは、テレオ操作システムに統合され、正確なエンドエフェクターグリッピングフォースフィードバックを提供します。
さまざまな操作タスクにわたる実験は、強制フィードバックが特にシミュレーションにおいて、成功率と実行効率の両方を大幅に改善することを示しています。
さらに、視覚的なレンダリング品質の異なるレベルの実験により、シミュレーションの視覚的リアリズムが強化されたため、現実世界のデータの必要性を減らしながら、タスクのパフォーマンスを大幅に向上させることがわかります。

要約(オリジナル)

Teleoperation offers a promising approach to robotic data collection and human-robot interaction. However, existing teleoperation methods for data collection are still limited by efficiency constraints in time and space, and the pipeline for simulation-based data collection remains unclear. The problem is how to enhance task performance while minimizing reliance on real-world data. To address this challenge, we propose a teleoperation pipeline for collecting robotic manipulation data in simulation and training a few-shot sim-to-real visual-motor policy. Force feedback devices are integrated into the teleoperation system to provide precise end-effector gripping force feedback. Experiments across various manipulation tasks demonstrate that force feedback significantly improves both success rates and execution efficiency, particularly in simulation. Furthermore, experiments with different levels of visual rendering quality reveal that enhanced visual realism in simulation substantially boosts task performance while reducing the need for real-world data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google