Interaction Replica: Tracking human-object interaction and scene changes from human motion

要約

【タイトル】Interaction Replica：人間の動きからの人間-物体の相互作用とシーン変更の追跡

【要約】
– 人々は自然に、ドアを開けたり家具を動かしたりすることで環境を変化させます。
– このような相互作用を仮想空間（メタバースなど）で再現するためには、環境の変化を含めてキャプチャしてモデル化する必要があります。
– しかし、動的なオブジェクトの姿勢の推定は非常に困難であり、画像からの視覚的オブジェクト姿勢推定に頼ることはできません。
– そのため、人間の動きからシーンの変化について多くを知ることができることに着目し、iReplicaを提案しています。
– iReplicaは、人間の動きに基づいて物体とシーンの変化を追跡する、最初の人間-物体相互作用推論方法です。
– iReplicaは、充実したAR/VRアプリケーションに向けた重要な第一歩であり、機械が周囲と相互作用するための人間中心のトレーニングデータを提供することができます。

要約(オリジナル)

Humans naturally change their environment through interactions, e.g., by opening doors or moving furniture. To reproduce such interactions in virtual spaces (e.g., metaverse), we need to capture and model them, including changes in the scene geometry, ideally from egocentric input alone (head camera and body-worn inertial sensors). While the head camera can be used to localize the person in the scene, estimating dynamic object pose is much more challenging. As the object is often not visible from the head camera (e.g., a human not looking at a chair while sitting down), we can not rely on visual object pose estimation. Instead, our key observation is that human motion tells us a lot about scene changes. Motivated by this, we present iReplica, the first human-object interaction reasoning method which can track objects and scene changes based solely on human motion. iReplica is an essential first step towards advanced AR/VR applications in immersive virtual universes and can provide human-centric training data to teach machines to interact with their surroundings. Our code, data and model will be available on our project page at http://virtualhumans.mpi-inf.mpg.de/ireplica/

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI