Harmonic Mobile Manipulation

要約

最近のロボット工学の進歩により、ロボットは複雑なシーンをナビゲートしたり、さまざまなオブジェクトを独立して操作したりできるようになりました。
しかし、ロボットは、ドアを開けるなどの協調動作を必要とする多くの家事作業においては依然として無力である。
ナビゲーションと操作の因数分解は、一部のタスクでは効果的ですが、調整されたアクションが必要なシナリオでは失敗します。
この課題に対処するために、ナビゲーションと操作の両方を最適化するエンドツーエンドの学習方法である HarmonicMM を導入し、日常のタスクにおいて既存の技術に比べて顕著な改善を示しています。
このアプローチは、シミュレートされた環境と現実世界の環境で検証されており、追加の調整なしで新しい目に見えない設定に適応します。
私たちの貢献には、モバイル操作の新しいベンチマークと、目に見えない実際のアパートでの RGB 視覚観察のみによる導入の成功が含まれており、日常生活における実用的な屋内ロボット導入の可能性を実証しています。
さらなる結果はプロジェクト サイトにあります: https://rchalyang.github.io/HarmonicMM/

要約(オリジナル)

Recent advancements in robotics have enabled robots to navigate complex scenes or manipulate diverse objects independently. However, robots are still impotent in many household tasks requiring coordinated behaviors such as opening doors. The factorization of navigation and manipulation, while effective for some tasks, fails in scenarios requiring coordinated actions. To address this challenge, we introduce, HarmonicMM, an end-to-end learning method that optimizes both navigation and manipulation, showing notable improvement over existing techniques in everyday tasks. This approach is validated in simulated and real-world environments and adapts to novel unseen settings without additional tuning. Our contributions include a new benchmark for mobile manipulation and the successful deployment with only RGB visual observation in a real unseen apartment, demonstrating the potential for practical indoor robot deployment in daily life. More results are on our project site: https://rchalyang.github.io/HarmonicMM/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google