要約
人間の3Dインタラクションを理解することは、きめ細かいシーン分析と行動モデリングの基本である。しかし、既存のモデルのほとんどは、イベントの本質である微妙な人間的接触の側面を見逃し、詳細な行動理解にはほとんど役に立たない、誤った、生気のない3d推定を予測する。本稿では、このような問題をいくつかの貢献によって解決する：(1)接触検出、セグメンテーション、3d接触シグネチャ予測を含むインタラクションシグネチャ推定（ISP）のモデルを紹介する。(2)3d再構成時に接触の一貫性を確保するために、このようなコンポーネントをどのように活用できるかを示す；具体的には、$2,525$の接触イベント、$728,664$のグランドトゥルース3dポーズを含む631シーケンスからなる実験室ベースの高精度3dモーションキャプチャデータセットであるCHI3Dと、$14,081$の処理された人物のペア、$81,233$のファセットレベルの表面対応を含む$11,216$の画像からなるデータセットであるFlickrCI3Dを紹介する。最後に、(4)制御されたセットアップにおいて、相互作用する人物の真実のポーズと形状を復元する方法論を提案し、(5)CHI3Dの全ての3次元相互作用モーションにテキスト記述による注釈を付ける。複数のフォーマットのモーションデータ（GHUM と SMPLX パラメータ、Human3.6m 3d ジョイント）は、評価サーバーと公開ベンチマークとともに、研究目的で \url{https://ci3d.imar.ro} に公開されています。
要約(オリジナル)
Understanding 3d human interactions is fundamental for fine-grained scene analysis and behavioural modeling. However, most of the existing models predict incorrect, lifeless 3d estimates, that miss the subtle human contact aspects–the essence of the event–and are of little use for detailed behavioral understanding. This paper addresses such issues with several contributions: (1) we introduce models for interaction signature estimation (ISP) encompassing contact detection, segmentation, and 3d contact signature prediction; (2) we show how such components can be leveraged to ensure contact consistency during 3d reconstruction; (3) we construct several large datasets for learning and evaluating 3d contact prediction and reconstruction methods; specifically, we introduce CHI3D, a lab-based accurate 3d motion capture dataset with 631 sequences containing $2,525$ contact events, $728,664$ ground truth 3d poses, as well as FlickrCI3D, a dataset of $11,216$ images, with $14,081$ processed pairs of people, and $81,233$ facet-level surface correspondences. Finally, (4) we propose methodology for recovering the ground-truth pose and shape of interacting people in a controlled setup and (5) annotate all 3d interaction motions in CHI3D with textual descriptions. Motion data in multiple formats (GHUM and SMPLX parameters, Human3.6m 3d joints) is made available for research purposes at \url{https://ci3d.imar.ro}, together with an evaluation server and a public benchmark.
arxiv情報
| 著者 | Mihai Fieraru,Mihai Zanfir,Elisabeta Oneata,Alin-Ionut Popa,Vlad Olaru,Cristian Sminchisescu |
| 発行日 | 2023-08-04 08:34:23+00:00 |
| arxivサイト | arxiv_id(pdf) |