TwinTrack: Bridging Vision and Contact Physics for Real-Time Tracking of Unknown Dynamic Objects

要約

手元の操作中など、接触が豊富な環境で以前に見えなかった非常に動的なオブジェクトのリアルタイム追跡は、依然として重要な課題です。
純粋に視力ベースの追跡は、接触衝撃中の突然の動きによって引き起こされる頻繁な接触相互作用と運動のぼやけにより、重い閉塞に苦しむことがよくあります。
観察されたシーンの接触物理学を活用することにより、接触豊富なシーンで不明な動的オブジェクトの堅牢でリアルタイムの6-DOFポーズトラッキングを可能にする物理的に認識される視覚追跡フレームワークであるTwintrackを提案します。
Twintrackの中核には、Real2SimとSim2Realの統合があります。
Real2Simでは、視力と接触物理学の相補的強度を組み合わせて、オブジェクトの衝突ジオメトリと物理的特性を推定します。オブジェクトのジオメトリは、視覚から最初に再構築され、次に物理的精度のために接触ダイナミクスからの他の物理パラメーターとともに更新されます。
Sim2realでは、視覚追跡と学習した接触物理学の予測の間の適応融合によってオブジェクトの堅牢なポーズ推定が達成されます。
TwinTrackは、リアルタイムのパフォーマンスを確保するために、GPUが加速し、深くカスタマイズされた物理学エンジンの上に構築されています。
2つの接触豊富なシナリオでの方法を評価します。環境に対する豊富な接触の影響で落ちるオブジェクトと、接触が豊富な手の操作です。
実験結果は、ベースラインの方法と比較して、Twintrackがこれらの困難なシナリオでより堅牢で正確でリアルタイムの6-DOF追跡を達成し、追跡速度が20 Hzを超えることを示しています。
プロジェクトページ：https：//irislab.tech/twintrack-webpage/

要約(オリジナル)

Real-time tracking of previously unseen, highly dynamic objects in contact-rich environments — such as during dexterous in-hand manipulation — remains a significant challenge. Purely vision-based tracking often suffers from heavy occlusions due to the frequent contact interactions and motion blur caused by abrupt motion during contact impacts. We propose TwinTrack, a physics-aware visual tracking framework that enables robust and real-time 6-DoF pose tracking of unknown dynamic objects in a contact-rich scene by leveraging the contact physics of the observed scene. At the core of TwinTrack is an integration of Real2Sim and Sim2Real. In Real2Sim, we combine the complementary strengths of vision and contact physics to estimate object’s collision geometry and physical properties: object’s geometry is first reconstructed from vision, then updated along with other physical parameters from contact dynamics for physical accuracy. In Sim2Real, robust pose estimation of the object is achieved by adaptive fusion between visual tracking and prediction of the learned contact physics. TwinTrack is built on a GPU-accelerated, deeply customized physics engine to ensure real-time performance. We evaluate our method on two contact-rich scenarios: object falling with rich contact impacts against the environment, and contact-rich in-hand manipulation. Experimental results demonstrate that, compared to baseline methods, TwinTrack achieves significantly more robust, accurate, and real-time 6-DoF tracking in these challenging scenarios, with tracking speed exceeding 20 Hz. Project page: https://irislab.tech/TwinTrack-webpage/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google