Instance-Agnostic Geometry and Contact Dynamics Learning

要約

この研究では、共有表現としてジオメトリを使用することで、視覚とダイナミクスを融合して形状、姿勢の軌跡、および物理的特性を同時に学習する、インスタンスに依存しない学習フレームワークを提示します。
モーション キャプチャ入力と衝突モデルの既知の形状を事前に想定する多くの接触学習アプローチとは異なり、私たちが提案するフレームワークは、カテゴリ レベルやインスタンス レベルの事前形状を必要とせずに、RGBD ビデオからオブジェクトの幾何学的および動的特性を学習します。
私たちは、ビジョン システム BundleSDF をダイナミクス システム ContactNets と統合し、ダイナミクス モジュールからの出力を使用して、透視再投影を使用してビジョン モジュールからのポーズとジオメトリを洗練するための周期トレーニング パイプラインを提案します。
実験では、剛体および凸オブジェクトのジオメトリとダイナミクスを学習し、現在の追跡フレームワークを改善するフレームワークの機能を実証します。

要約(オリジナル)

This work presents an instance-agnostic learning framework that fuses vision with dynamics to simultaneously learn shape, pose trajectories, and physical properties via the use of geometry as a shared representation. Unlike many contact learning approaches that assume motion capture input and a known shape prior for the collision model, our proposed framework learns an object’s geometric and dynamic properties from RGBD video, without requiring either category-level or instance-level shape priors. We integrate a vision system, BundleSDF, with a dynamics system, ContactNets, and propose a cyclic training pipeline to use the output from the dynamics module to refine the poses and the geometry from the vision module, using perspective reprojection. Experiments demonstrate our framework’s ability to learn the geometry and dynamics of rigid and convex objects and improve upon the current tracking framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google