CORE4D: A 4D Human-Object-Human Interaction Dataset for Collaborative Object REarrangement

要約

VR/AR および人間とロボットのインタラクションにとって、人間がどのように協力して家庭内のオブジェクトを再配置するかを理解することは重要です。
しかし、関連するデータセットが不足しているため、これらの行動のモデル化に関する詳細な研究は十分に行われていません。
我々は、協調的なオブジェクトの再配置に焦点を当てた、新しい大規模 4D 人間-オブジェクト-人間インタラクション データセットである CORE4D を提示することで、このギャップを埋めます。これには、さまざまなオブジェクトのジオメトリ、コラボレーション モード、および 3D シーンの多様な構成が含まれます。
現実世界でキャプチャされた 1K の人間、オブジェクト、人間のモーション シーケンスを使用して、さまざまな新しいオブジェクトのモーションを拡張する反復的なコラボレーション リターゲティング戦略に貢献することで CORE4D を強化します。
このアプローチを活用して、CORE4D は、3K の現実および仮想オブジェクト形状にわたる合計 11K のコラボレーション シーケンスで構成されます。
CORE4D が提供する広範なモーション パターンを利用して、人間とオブジェクトのインタラクションを生成することを目的とした 2 つのタスク、つまり人間とオブジェクトのモーション予測とインタラクション合成をベンチマークします。
広範な実験により、コラボレーションのリターゲティング戦略の有効性が実証され、CORE4D が既存の人間とオブジェクトのインタラクション生成方法論に新たな課題を投げかけていることが示されました。
データセットとコードは https://github.com/leolyliu/CORE4D-structions で入手できます。

要約(オリジナル)

Understanding how humans cooperatively rearrange household objects is critical for VR/AR and human-robot interaction. However, in-depth studies on modeling these behaviors are under-researched due to the lack of relevant datasets. We fill this gap by presenting CORE4D, a novel large-scale 4D human-object-human interaction dataset focusing on collaborative object rearrangement, which encompasses diverse compositions of various object geometries, collaboration modes, and 3D scenes. With 1K human-object-human motion sequences captured in the real world, we enrich CORE4D by contributing an iterative collaboration retargeting strategy to augment motions to a variety of novel objects. Leveraging this approach, CORE4D comprises a total of 11K collaboration sequences spanning 3K real and virtual object shapes. Benefiting from extensive motion patterns provided by CORE4D, we benchmark two tasks aiming at generating human-object interaction: human-object motion forecasting and interaction synthesis. Extensive experiments demonstrate the effectiveness of our collaboration retargeting strategy and indicate that CORE4D has posed new challenges to existing human-object interaction generation methodologies. Our dataset and code are available at https://github.com/leolyliu/CORE4D-Instructions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google