CHORE: Contact, Human and Object REconstruction from a single RGB image

要約

画像から3D人間を知覚する以前のほとんどの研究は、周囲のない人間を孤立させていると考えています。
しかし、人間は常に周囲の物体と相互作用しているため、人間だけでなく物体とその相互作用についても推論できるモデルが求められています。
この問題は、人間と物体の間の重い閉塞、多様な相互作用の種類、および深さのあいまいさのために、非常に困難です。
本稿では、単一のRGB画像から人間と物体を共同で再構成することを学習する新しい方法であるCHOREを紹介します。
CHOREは、陰関数曲面学習と古典的なモデルベースのフィッティングにおける最近の進歩からインスピレーションを得ています。
2つの符号なし距離フィールド、パラメトリックボディへの対応フィールドとオブジェクトポーズフィールドで暗黙的に表される人間とオブジェクトの神経再構成を計算します。
これにより、相互作用について推論しながら、パラメトリックボディモデルと3Dオブジェクトテンプレートを確実に適合させることができます。
さらに、以前のピクセル整列の暗黙の学習方法は、合成データを使用し、実際のデータでは満たされない仮定を行います。
実際のデータでより効率的な形状学習を可能にする、エレガントな深度認識スケーリングを提案します。
実験は、提案された戦略で学んだ私たちの共同再構築がSOTAを大幅に上回っていることを示しています。
私たちのコードとモデルはhttps://virtualhumans.mpi-inf.mpg.de/choreで入手できます。

要約(オリジナル)

Most prior works in perceiving 3D humans from images reason human in isolation without their surroundings. However, humans are constantly interacting with the surrounding objects, thus calling for models that can reason about not only the human but also the object and their interaction. The problem is extremely challenging due to heavy occlusions between humans and objects, diverse interaction types and depth ambiguity. In this paper, we introduce CHORE, a novel method that learns to jointly reconstruct the human and the object from a single RGB image. CHORE takes inspiration from recent advances in implicit surface learning and classical model-based fitting. We compute a neural reconstruction of human and object represented implicitly with two unsigned distance fields, a correspondence field to a parametric body and an object pose field. This allows us to robustly fit a parametric body model and a 3D object template, while reasoning about interactions. Furthermore, prior pixel-aligned implicit learning methods use synthetic data and make assumptions that are not met in the real data. We propose a elegant depth-aware scaling that allows more efficient shape learning on real data. Experiments show that our joint reconstruction learned with the proposed strategy significantly outperforms the SOTA. Our code and models are available at https://virtualhumans.mpi-inf.mpg.de/chore

arxiv情報

提供元, 利用サービス

arxiv.jp, Google