Hi4D: 4D Instance Segmentation of Close Human Interaction

要約

長時間の接触下での物理的に近い人間と人間の相互作用を自動分析するための方法とデータセットである Hi4D を提案します。
接触している複数の被写体を堅牢にほぐすことは、閉塞と複雑な形状のために困難な作業です。
したがって、既存のマルチビュー システムは通常、近くにある被写体の 3D サーフェスを単一の接続されたメッシュに融合します。
この問題に対処するために、i) 個別に適合したニューラルの暗黙のアバターを活用します。
ii) 近接した期間を通じてポーズとサーフェスを改良する交互最適化スキーム。
iii) したがって、融合された raw スキャンを個々のインスタンスに分割します。
これらのインスタンスから、20 の被験者ペア、100 のシーケンス、合計 11,000 フレームを超える 4D テクスチャ スキャンの Hi4D データセットをコンパイルします。
Hi4D には、正確に登録されたパラメトリック ボディ モデルとともに、2D および 3D の豊富なインタラクション中心の注釈が含まれています。
このデータセットでさまざまな人間の姿勢と形状の推定タスクを定義し、これらのベンチマークで最先端の方法から結果を提供します。

要約(オリジナル)

We propose Hi4D, a method and dataset for the automatic analysis of physically close human-human interaction under prolonged contact. Robustly disentangling several in-contact subjects is a challenging task due to occlusions and complex shapes. Hence, existing multi-view systems typically fuse 3D surfaces of close subjects into a single, connected mesh. To address this issue we leverage i) individually fitted neural implicit avatars; ii) an alternating optimization scheme that refines pose and surface through periods of close proximity; and iii) thus segment the fused raw scans into individual instances. From these instances we compile Hi4D dataset of 4D textured scans of 20 subject pairs, 100 sequences, and a total of more than 11K frames. Hi4D contains rich interaction-centric annotations in 2D and 3D alongside accurately registered parametric body models. We define varied human pose and shape estimation tasks on this dataset and provide results from state-of-the-art methods on these benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google