Nonrigid Object Contact Estimation With Regional Unwrapping Transformer

要約

手と非剛体物体との間の接触パターンを取得することは、視覚およびロボット工学のコミュニティにおける共通の関心事です。
ただし、既存の学習ベースの方法は、単眼画像からの剛体との接触に重点を置いています。
非剛体接触にそれらを採用する場合、大きな問題は、既存の接触表現がオブジェクトのジオメトリによって制限されることです。
その結果、接触近傍は順序付けされていない方法で保存され、接触特徴を画像キューと一致させることが困難になります。
私たちのアプローチの中核には、RUP (領域アンラップ プロファイル) と呼ばれる新しい手とオブジェクトの接触表現があり、これにより、大まかに推定された手とオブジェクトの表面が複数の高解像度 2D 領域プロファイルとしてアンラップされます。
領域グループ化戦略は、複合接触パターンの原始的なイニシエーターであるため、手の運動学的骨分割と一致します。
この表現に基づいて、地域アンラッピング トランスフォーマー (RUFormer) は、単眼入力から領域全体の相関事前分布を学習し、対応する接触および変形変換を予測します。
私たちの実験は、提案されたフレームワークが変形度および変形変形をロバストに推定できるため、非剛体接触と剛体接触の両方に適していることを示しています。

要約(オリジナル)

Acquiring contact patterns between hands and nonrigid objects is a common concern in the vision and robotics community. However, existing learning-based methods focus more on contact with rigid ones from monocular images. When adopting them for nonrigid contact, a major problem is that the existing contact representation is restricted by the geometry of the object. Consequently, contact neighborhoods are stored in an unordered manner and contact features are difficult to align with image cues. At the core of our approach lies a novel hand-object contact representation called RUPs (Region Unwrapping Profiles), which unwrap the roughly estimated hand-object surfaces as multiple high-resolution 2D regional profiles. The region grouping strategy is consistent with the hand kinematic bone division because they are the primitive initiators for a composite contact pattern. Based on this representation, our Regional Unwrapping Transformer (RUFormer) learns the correlation priors across regions from monocular inputs and predicts corresponding contact and deformed transformations. Our experiments demonstrate that the proposed framework can robustly estimate the deformed degrees and deformed transformations, which makes it suitable for both nonrigid and rigid contact.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google