AlignSDF: Pose-Aligned Signed Distance Fields for Hand-Object Reconstruction

要約

最近の研究は、単眼カラー画像からの手と操作されたオブジェクトの共同再構築に向けて目覚ましい進歩を遂げました。
既存の方法は、パラメトリックメッシュまたは符号付き距離フィールド（SDF）のいずれかに関する2つの代替表現に焦点を当てています。
一方では、パラメトリックモデルは、限られた形状変形とメッシュ解像度を犠牲にして、事前の知識から利益を得ることができます。
したがって、メッシュモデルでは、手やオブジェクトの接触面などの詳細を正確に再構築できない場合があります。
一方、SDFベースのメソッドは、任意の詳細を表すことができますが、明示的な事前情報が不足しています。
この作業では、パラメトリック表現によって提供される事前分布を使用して、SDFモデルを改善することを目指しています。
特に、ポーズと形を解きほぐす共同学習フレームワークを提案します。
パラメトリックモデルから手のポーズとオブジェクトのポーズを取得し、それらを使用して3D空間でSDFを位置合わせします。
このように位置合わせされたSDFは、形状の詳細の再構築に重点を置き、手とオブジェクトの両方の再構築の精度を向上させることを示します。
私たちは私たちの方法を評価し、挑戦的なObManおよびDexYCBベンチマークで最先端技術を大幅に改善したことを示しています。

要約(オリジナル)

Recent work achieved impressive progress towards joint reconstruction of hands and manipulated objects from monocular color images. Existing methods focus on two alternative representations in terms of either parametric meshes or signed distance fields (SDFs). On one side, parametric models can benefit from prior knowledge at the cost of limited shape deformations and mesh resolutions. Mesh models, hence, may fail to precisely reconstruct details such as contact surfaces of hands and objects. SDF-based methods, on the other side, can represent arbitrary details but are lacking explicit priors. In this work we aim to improve SDF models using priors provided by parametric representations. In particular, we propose a joint learning framework that disentangles the pose and the shape. We obtain hand and object poses from parametric models and use them to align SDFs in 3D space. We show that such aligned SDFs better focus on reconstructing shape details and improve reconstruction accuracy both for hands and objects. We evaluate our method and demonstrate significant improvements over the state of the art on the challenging ObMan and DexYCB benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google