要約
本研究では、3つの主要なモダリティに焦点を当て、異なる観測空間がロボット学習に与える影響を探る：RGB、RGB-D、点群である。2つのベンチマークとシミュレータを使用し、17以上の様々な接触リッチな操作タスクに関する広範な実験を通して、我々は顕著な傾向を観察した：点群ベースの手法は、最も単純な設計のものであっても、性能においてRGBやRGB-Dを上回ることが多い。これは、ゼロからトレーニングする場合と事前トレーニングを利用する場合の両方のシナリオで一貫しています。さらに、我々の調査結果は、点群観測が、カメラの視点、照明条件、ノイズレベル、背景の外観など、様々な幾何学的・視覚的手がかりに関連して、ポリシーのゼロショット汎化を改善することを示している。この結果は、3D点群が複雑なロボットタスクのための貴重な観測モダリティであることを示唆している。我々の洞察が、より一般化可能で頑健なロボットモデルの設計に役立つことを期待して、全てのコードとチェックポイントをオープンソース化する予定である。
要約(オリジナル)
In this study, we explore the influence of different observation spaces on robot learning, focusing on three predominant modalities: RGB, RGB-D, and point cloud. Through extensive experimentation on over 17 varied contact-rich manipulation tasks, conducted across two benchmarks and simulators, we have observed a notable trend: point cloud-based methods, even those with the simplest designs, frequently surpass their RGB and RGB-D counterparts in performance. This remains consistent in both scenarios: training from scratch and utilizing pretraining. Furthermore, our findings indicate that point cloud observations lead to improved policy zero-shot generalization in relation to various geometry and visual clues, including camera viewpoints, lighting conditions, noise levels and background appearance. The outcomes suggest that 3D point cloud is a valuable observation modality for intricate robotic tasks. We will open-source all our codes and checkpoints, hoping that our insights can help design more generalizable and robust robotic models.
arxiv情報
| 著者 | Haoyi Zhu,Yating Wang,Di Huang,Weicai Ye,Wanli Ouyang,Tong He |
| 発行日 | 2024-02-04 14:18:45+00:00 |
| arxivサイト | arxiv_id(pdf) |