EasyHOI: Unleashing the Power of Large Models for Reconstructing Hand-Object Interactions in the Wild

要約

私たちの研究は、単一視点の画像から手とオブジェクトのインタラクションを再構築することを目的としていますが、これは基本的ではありますが不適切なタスクです。
ビデオ、マルチビュー画像、または事前定義された 3D テンプレートから再構成する方法とは異なり、単一ビューの再構成は、固有のあいまいさとオクルージョンによる重大な課題に直面しています。
これらの課題は、手のポーズの多様性と、オブジェクトの形状やサイズの多種多様によってさらに増幅されます。
私たちの重要な洞察は、セグメンテーション、修復、および 3D 再構築のための現在の基礎モデルが、野生の画像に堅牢に一般化されており、手とオブジェクトのインタラクションを再構築するための強力な視覚的および幾何学的事前分布を提供できる可能性があるということです。
具体的には、単一の画像が与えられた場合、まず、既製の大規模モデルを使用して、基礎となる手のポーズとオブジェクトの形状を推定する新しいパイプラインを設計します。
さらに、最初の再構成では、事前にガイドされた最適化スキームを採用し、3D 物理的制約と 2D 入力画像コンテンツに準拠するように手の姿勢を最適化します。
いくつかのデータセットにわたって実験を実行し、私たちの方法が一貫してベースラインを上回り、さまざまな手とオブジェクトのインタラクションのセットを忠実に再構築することを示しました。
私たちのプロジェクトページのリンクは次のとおりです: https://lym29.github.io/EasyHOI-page/

要約(オリジナル)

Our work aims to reconstruct hand-object interactions from a single-view image, which is a fundamental but ill-posed task. Unlike methods that reconstruct from videos, multi-view images, or predefined 3D templates, single-view reconstruction faces significant challenges due to inherent ambiguities and occlusions. These challenges are further amplified by the diverse nature of hand poses and the vast variety of object shapes and sizes. Our key insight is that current foundational models for segmentation, inpainting, and 3D reconstruction robustly generalize to in-the-wild images, which could provide strong visual and geometric priors for reconstructing hand-object interactions. Specifically, given a single image, we first design a novel pipeline to estimate the underlying hand pose and object shape using off-the-shelf large models. Furthermore, with the initial reconstruction, we employ a prior-guided optimization scheme, which optimizes hand pose to comply with 3D physical constraints and the 2D input image content. We perform experiments across several datasets and show that our method consistently outperforms baselines and faithfully reconstructs a diverse set of hand-object interactions. Here is the link of our project page: https://lym29.github.io/EasyHOI-page/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google