Physics-Based Rigid Body Object Tracking and Friction Filtering From RGB-D Videos

要約

感覚観察から物体の相互作用を物理学に基づいて理解することは、拡張現実とロボット工学において不可欠な機能です。
これにより、シミュレーションと制御のためにシーンのプロパティをキャプチャできるようになります。
この論文では、RGB-D 画像から 3D で剛体を追跡し、物体の物理的特性を推測する、Real-to-Sim のための新しいアプローチを提案します。
微分可能な物理シミュレーションを拡張カルマン フィルターの状態遷移モデルとして使用します。これにより、任意のメッシュ ベースの形状の接触と摩擦をモデル化し、この方法で物理的に妥当な軌道を推定できます。
私たちのアプローチが位置、方向、速度をフィルタリングし、同時に物体の摩擦係数を推定できることを実証します。
単一の物体と衝突する物体の合成画像シーケンスにおけるさまざまな滑りシナリオに対するアプローチを分析します。
また、実世界のデータセットに対するアプローチを実証し、評価します。
私たちは、この新しい問題設定と私たちの手法との比較における将来の研究を促進するために、新しいベンチマーク データセットを一般公開します。

要約(オリジナル)

Physics-based understanding of object interactions from sensory observations is an essential capability in augmented reality and robotics. It enables capturing the properties of a scene for simulation and control. In this paper, we propose a novel approach for real-to-sim which tracks rigid objects in 3D from RGB-D images and infers physical properties of the objects. We use a differentiable physics simulation as state-transition model in an Extended Kalman Filter which can model contact and friction for arbitrary mesh-based shapes and in this way estimate physically plausible trajectories. We demonstrate that our approach can filter position, orientation, velocities, and concurrently can estimate the coefficient of friction of the objects. We analyse our approach on various sliding scenarios in synthetic image sequences of single objects and colliding objects. We also demonstrate and evaluate our approach on a real-world dataset. We will make our novel benchmark datasets publicly available to foster future research in this novel problem setting and comparison with our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google