One-Shot Real-to-Sim via End-to-End Differentiable Simulation and Rendering

要約

まばらなオンライン観察から新しい環境におけるロボットの予測世界モデルを特定することは、新しい環境におけるロボットのタスク計画と実行に不可欠です。
ただし、微分可能なシミュレーターを利用してワールド モデルを特定する既存の方法では、シーンの形状、外観、物理的特性を共同で最適化することができません。
この研究では、これらのプロパティの共同識別を可能にする新しいオブジェクト表現を導入します。
私たちの方法では、グリッドベースの外観フィールドと組み合わせた新しい微分可能なポイントベースのオブジェクト表現を採用しており、これにより微分可能なオブジェクトの衝突検出とレンダリングが可能になります。
微分可能な物理シミュレーターと組み合わせることで、物理的な動作シーケンスのまばらな視覚的および触覚的観察を考慮して、ワールド モデルのエンドツーエンドの最適化を実現します。
シミュレートされた環境と実際の環境での一連のシステム識別タスクを通じて、私たちの方法が、たった 1 つのロボットのアクション シーケンスからシミュレーション対応世界モデルとレンダリング対応世界モデルの両方を学習できることを示します。

要約(オリジナル)

Identifying predictive world models for robots in novel environments from sparse online observations is essential for robot task planning and execution in novel environments. However, existing methods that leverage differentiable simulators to identify world models are incapable of jointly optimizing the shape, appearance, and physical properties of the scene. In this work, we introduce a novel object representation that allows the joint identification of these properties. Our method employs a novel differentiable point-based object representation coupled with a grid-based appearance field, which allows differentiable object collision detection and rendering. Combined with a differentiable physical simulator, we achieve end-to-end optimization of world models, given the sparse visual and tactile observations of a physical motion sequence. Through a series of system identification tasks in simulated and real environments, we show that our method can learn both simulation- and rendering-ready world models from only one robot action sequence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google