Differentiable Physics Simulation of Dynamics-Augmented Neural Objects

要約

深いネットワークとしてパラメーター化された連続密度場としてジオメトリを表すオブジェクトの動きをシミュレートするための微分可能なパイプラインを提示します。
これには、Neural Radiance Fields (NeRF) およびその他の関連モデルが含まれます。
密度場から、質量、重心、慣性行列など、オブジェクトの動的特性を推定します。
次に、衝突から生じる法線力と摩擦力を計算するために、密度場に基づく微分可能な接触モデルを導入します。
これにより、ロボットは、動いている物体の静止画像や動画から、視覚的かつ動的に正確な物体モデルを自律的に構築できます。
結果として得られる Dynamics-Augmented Neural Objects (DANO) は、既存の微分可能シミュレーション エンジン Dojo でシミュレートされ、URDF として指定された球体、平面、ロボットなどの他の標準的なシミュレーション オブジェクトと相互作用します。
ロボットは、このシミュレーションを使用して、ニューラル オブジェクトの把握と操作の軌跡を最適化したり、勾配ベースのリアルからシミュレーションへの転送を通じてニューラル オブジェクト モデルを改善したりできます。
テーブルの上を石鹸が滑っている実際のビデオから石鹸の摩擦係数を学習するパイプラインを示します。
また、合成データからパンダ ロボット アームとの相互作用を通じてスタンフォード バニーの摩擦係数と質量を学習し、シミュレーションでパンダ アームの軌道を最適化して、バニーをゴール位置に押し込みます。

要約(オリジナル)

We present a differentiable pipeline for simulating the motion of objects that represent their geometry as a continuous density field parameterized as a deep network. This includes Neural Radiance Fields (NeRFs), and other related models. From the density field, we estimate the dynamical properties of the object, including its mass, center of mass, and inertia matrix. We then introduce a differentiable contact model based on the density field for computing normal and friction forces resulting from collisions. This allows a robot to autonomously build object models that are visually and \emph{dynamically} accurate from still images and videos of objects in motion. The resulting Dynamics-Augmented Neural Objects (DANOs) are simulated with an existing differentiable simulation engine, Dojo, interacting with other standard simulation objects, such as spheres, planes, and robots specified as URDFs. A robot can use this simulation to optimize grasps and manipulation trajectories of neural objects, or to improve the neural object models through gradient-based real-to-simulation transfer. We demonstrate the pipeline to learn the coefficient of friction of a bar of soap from a real video of the soap sliding on a table. We also learn the coefficient of friction and mass of a Stanford bunny through interactions with a Panda robot arm from synthetic data, and we optimize trajectories in simulation for the Panda arm to push the bunny to a goal location.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google