gSDF: Geometry-Driven Signed Distance Functions for 3D Hand-Object Reconstruction

要約

タイトル: 3D手物体再構成のための幾何学ドライブ符号付き距離関数(gSDF)
要約:
– 符号付き距離関数(SDF)は、最近の研究で、画像からの3D形状再構成において有望な結果を示しているフレームワークです。
– SDFは異なる形状の解像度やトポロジーにシームレスに一般化できますが、基礎となる3Dジオメトリの明示的なモデリングが欠けています。
– この研究では、手の構造を活用し、SDFに基づく形状再構成をガイドします。
– 具体的には、単眼RGB画像からの手と物体の再構成に取り組みます。そのために、手と物体の姿勢を推定し、3D再構成をガイドするためにそれらを使用します。
– より具体的には、姿勢変換の運動鎖を予測し、高度に含まれた手のポーズでSDFを整列させます。
– ジオメトリのアライメントで3Dポイントの視覚的な特徴を向上させ、さらに時間情報を利用して、遮蔽やモーションブラーに対する堅牢性を高めます。
– ObManおよびDexYCBの厳しいベンチマークで広範な実験を行い、提案手法の最新技術に対する有意な改善を実証します。

要約(オリジナル)

Signed distance functions (SDFs) is an attractive framework that has recently shown promising results for 3D shape reconstruction from images. SDFs seamlessly generalize to different shape resolutions and topologies but lack explicit modelling of the underlying 3D geometry. In this work, we exploit the hand structure and use it as guidance for SDF-based shape reconstruction. In particular, we address reconstruction of hands and manipulated objects from monocular RGB images. To this end, we estimate poses of hands and objects and use them to guide 3D reconstruction. More specifically, we predict kinematic chains of pose transformations and align SDFs with highly-articulated hand poses. We improve the visual features of 3D points with geometry alignment and further leverage temporal information to enhance the robustness to occlusion and motion blurs. We conduct extensive experiments on the challenging ObMan and DexYCB benchmarks and demonstrate significant improvements of the proposed method over the state of the art.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI