要約
Sim2Real の転送、特に RGB 画像に依存する操作ポリシーの場合、合成視覚データと現実世界の視覚データの間の大幅なドメインの変化により、ロボット工学における重要な課題が依然として残ります。
この論文では、RGB ベースの操作ポリシーの Sim2Real ギャップを削減するための主要なレンダリング プリミティブとしてガウス スプラッティングを利用する新しいフレームワークである SplatSim を提案します。
SplatSim は、シミュレータで従来のメッシュ表現をガウス スプラットに置き換えることにより、シミュレーションのスケーラビリティとコスト効率を維持しながら、非常にフォトリアリスティックな合成データを生成します。
SplatSim 内で操作ポリシーをトレーニングし、それらをゼロショット方式で実世界に展開することでフレームワークの有効性を実証し、平均成功率 86.25% を達成しました (実世界のデータでトレーニングされたポリシーの場合は 97.5%)。
要約(オリジナル)
Sim2Real transfer, particularly for manipulation policies relying on RGB images, remains a critical challenge in robotics due to the significant domain shift between synthetic and real-world visual data. In this paper, we propose SplatSim, a novel framework that leverages Gaussian Splatting as the primary rendering primitive to reduce the Sim2Real gap for RGB-based manipulation policies. By replacing traditional mesh representations with Gaussian Splats in simulators, SplatSim produces highly photorealistic synthetic data while maintaining the scalability and cost-efficiency of simulation. We demonstrate the effectiveness of our framework by training manipulation policies within SplatSim}and deploying them in the real world in a zero-shot manner, achieving an average success rate of 86.25%, compared to 97.5% for policies trained on real-world data.
arxiv情報
著者 | Mohammad Nomaan Qureshi,Sparsh Garg,Francisco Yandun,David Held,George Kantor,Abhishesh Silwal |
発行日 | 2024-09-16 10:52:16+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google