CHORE: Contact, Human and Object REconstruction from a single RGB image

要約

画像から 3D 人間を知覚するこれまでの研究のほとんどは、周囲から離れた孤立した人間を推論します。
しかし、人間は常に周囲の物体と対話しているため、人間だけでなく物体とその相互作用についても推論できるモデルが必要です。
この問題は、人間とオブジェクト間の激しいオクルージョン、多様なインタラクション タイプ、および深さの曖昧さのため、非常に困難です。
この論文では、単一の RGB 画像から人間と物体を共同で再構成することを学習する新しい方法である CHORE を紹介します。
CHORE は、暗黙的な表面学習と古典的なモデルベースのフィッティングにおける最近の進歩からインスピレーションを得ています。
2 つの符号なし距離フィールド、パラメトリック ボディへの対応フィールド、およびオブジェクトのポーズ フィールドを使用して暗黙的に表現された人間とオブジェクトの神経再構成を計算します。
これにより、相互作用について推論しながら、パラメトリック ボディ モデルと 3D オブジェクト テンプレートを確実に適合させることができます。
さらに、従来のピクセル位置合わせの暗黙的学習方法は合成データを使用し、実際のデータでは満たされない仮定を立てます。
私たちは、実際のデータ上でより効率的な形状学習を可能にするエレガントな深度を意識したスケーリングを提案します。
実験では、提案された戦略で学習された共同再構成が SOTA よりも大幅に優れていることが示されています。
コードとモデルは https://virtualhumans.mpi-inf.mpg.de/chore で入手できます。

要約(オリジナル)

Most prior works in perceiving 3D humans from images reason human in isolation without their surroundings. However, humans are constantly interacting with the surrounding objects, thus calling for models that can reason about not only the human but also the object and their interaction. The problem is extremely challenging due to heavy occlusions between humans and objects, diverse interaction types and depth ambiguity. In this paper, we introduce CHORE, a novel method that learns to jointly reconstruct the human and the object from a single RGB image. CHORE takes inspiration from recent advances in implicit surface learning and classical model-based fitting. We compute a neural reconstruction of human and object represented implicitly with two unsigned distance fields, a correspondence field to a parametric body and an object pose field. This allows us to robustly fit a parametric body model and a 3D object template, while reasoning about interactions. Furthermore, prior pixel-aligned implicit learning methods use synthetic data and make assumptions that are not met in the real data. We propose a elegant depth-aware scaling that allows more efficient shape learning on real data. Experiments show that our joint reconstruction learned with the proposed strategy significantly outperforms the SOTA. Our code and models are available at https://virtualhumans.mpi-inf.mpg.de/chore

arxiv情報

提供元, 利用サービス

arxiv.jp, Google