Primitive-based 3D Human-Object Interaction Modelling and Programming

要約

Human and Articulated Object Interaction (HAOI) を 3D に組み込むことは、人間の活動をより深く理解するための重要な方向性です。
人間と物体を表現するためにパラメトリック モデルや CAD モデルを使用するこれまでの研究とは異なり、この研究では、人間と物体の両方をエンコードするための新しい 3D 幾何学的プリミティブ ベースの言語を提案します。
私たちの新しいパラダイムを考えると、人間と物体はすべて、異質な実体ではなく、原始的なものの組み合わせです。
したがって、人間の限られた 3D データと異なるオブジェクト カテゴリの間で相互情報学習を達成できる可能性があります。
さらに、表現の単純さとそれに含まれる情報の豊富さを考慮して、プリミティブ表現として超二次関数を選択します。
マシンに対する HAOI の効果的な埋め込みを調査するために、プリミティブとその画像から構成される 3D HAOI に関する新しいベンチマークを構築し、画像からプリミティブを使用して 3D HAOI を回復することをマシンに要求するタスクを提案します。
さらに、HAOI 上の単一ビュー 3D 再構成のベースラインを提案します。
私たちは、このプリミティブベースの 3D HAOI 表現が 3D HAOI 研究への道を開くと信じています。
コードとデータは https://mvig-rhos.com/p3haoi で入手できます。

要約(オリジナル)

Embedding Human and Articulated Object Interaction (HAOI) in 3D is an important direction for a deeper human activity understanding. Different from previous works that use parametric and CAD models to represent humans and objects, in this work, we propose a novel 3D geometric primitive-based language to encode both humans and objects. Given our new paradigm, humans and objects are all compositions of primitives instead of heterogeneous entities. Thus, mutual information learning may be achieved between the limited 3D data of humans and different object categories. Moreover, considering the simplicity of the expression and the richness of the information it contains, we choose the superquadric as the primitive representation. To explore an effective embedding of HAOI for the machine, we build a new benchmark on 3D HAOI consisting of primitives together with their images and propose a task requiring machines to recover 3D HAOI using primitives from images. Moreover, we propose a baseline of single-view 3D reconstruction on HAOI. We believe this primitive-based 3D HAOI representation would pave the way for 3D HAOI studies. Our code and data are available at https://mvig-rhos.com/p3haoi.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google