TOCH: Spatio-Temporal Object-to-Hand Correspondence for Motion Refinement

要約

我々は、事前データを使用して不正確な 3D 手とオブジェクトのインタラクション シーケンスを修正する手法である TOCH を紹介します。
既存のハンド トラッカー、特に少数のカメラに依存するハンド トラッカーでは、手とオブジェクトの交差や接触の欠落など、視覚的に非現実的な結果が生成されることがよくあります。
このようなエラーを修正するには、インタラクションの時間的側面について推論する必要がありますが、これまでの研究のほとんどは静的な把握と接触に焦点を当てていました。
私たちの手法の中核は、インタラクション中の手と物体の間の対応をモデル化するための新しい時空間表現である TOCH フィールドです。
TOCH フィールドはポイント単位のオブジェクト中心の表現であり、オブジェクトに対する手の位置をエンコードします。
この新しい表現を活用して、時間的ノイズ除去自動エンコーダを使用して、もっともらしい TOCH フィールドの潜在多様体を学習します。
実験では、TOCH が、静的な把握と接触に限定されている最先端の 3D 手とオブジェクトの相互作用モデルよりも優れたパフォーマンスを発揮することが実証されています。
さらに重要なことは、私たちの方法は接触の前後でもスムーズな相互作用を生み出します。
単一のトレーニング済み TOCH モデルを使用して、既製の RGB/RGB-D ハンドオブジェクト再構築手法による誤ったシーケンスを修正し、オブジェクト間で把握を転送する際のその有用性を定量的および定性的に実証します。

要約(オリジナル)

We present TOCH, a method for refining incorrect 3D hand-object interaction sequences using a data prior. Existing hand trackers, especially those that rely on very few cameras, often produce visually unrealistic results with hand-object intersection or missing contacts. Although correcting such errors requires reasoning about temporal aspects of interaction, most previous works focus on static grasps and contacts. The core of our method are TOCH fields, a novel spatio-temporal representation for modeling correspondences between hands and objects during interaction. TOCH fields are a point-wise, object-centric representation, which encode the hand position relative to the object. Leveraging this novel representation, we learn a latent manifold of plausible TOCH fields with a temporal denoising auto-encoder. Experiments demonstrate that TOCH outperforms state-of-the-art 3D hand-object interaction models, which are limited to static grasps and contacts. More importantly, our method produces smooth interactions even before and after contact. Using a single trained TOCH model, we quantitatively and qualitatively demonstrate its usefulness for correcting erroneous sequences from off-the-shelf RGB/RGB-D hand-object reconstruction methods and transferring grasps across objects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google