要約
近年の学習された3次元表現の進歩により、特に剛体物体に対する複雑なロボット操作タスクの解決に大きな進歩が見られるようになった。しかしながら、豆、ナッツ、米のような粒状物質の操作は、粒子相互作用の複雑な物理、高次元で部分的に観測可能な状態、山積みされた個々の粒子を視覚的に追跡できないこと、正確なダイナミクス予測の計算要求のため、依然として困難である。現在の深層潜在動力学モデルは、誘導バイアスの欠如により、粒状物質操作の一般化に苦戦することが多い。本研究では、シーンのガウス散布表現上で視覚的ダイナミクスモデルを学習し、モデル予測制御を介して粒状媒体の操作にこのモデルを活用する新しいアプローチを提案する。本手法は、粒状媒体の山に対する複雑な操作タスクの効率的な最適化を可能にする。我々は、シミュレーションと実世界の設定の両方で我々のアプローチを評価し、未知の計画タスクを解決し、ゼロショット転送で新しい環境に汎化する能力を実証する。また、既存の粒状媒体操作手法と比較して、予測性能と操作性能の大幅な向上を示す。
要約(オリジナル)
Recent advancements in learned 3D representations have enabled significant progress in solving complex robotic manipulation tasks, particularly for rigid-body objects. However, manipulating granular materials such as beans, nuts, and rice, remains challenging due to the intricate physics of particle interactions, high-dimensional and partially observable state, inability to visually track individual particles in a pile, and the computational demands of accurate dynamics prediction. Current deep latent dynamics models often struggle to generalize in granular material manipulation due to a lack of inductive biases. In this work, we propose a novel approach that learns a visual dynamics model over Gaussian splatting representations of scenes and leverages this model for manipulating granular media via Model-Predictive Control. Our method enables efficient optimization for complex manipulation tasks on piles of granular media. We evaluate our approach in both simulated and real-world settings, demonstrating its ability to solve unseen planning tasks and generalize to new environments in a zero-shot transfer. We also show significant prediction and manipulation performance improvements compared to existing granular media manipulation methods.
arxiv情報
| 著者 | Wei-Cheng Tseng,Ellina Zhang,Krishna Murthy Jatavallabhula,Florian Shkurti |
| 発行日 | 2025-02-01 07:24:29+00:00 |
| arxivサイト | arxiv_id(pdf) |