Interaction Replica: Tracking human-object interaction and scene changes from human motion

要約

タイトル：Interaction Replica: Tracking human-object interaction and scene changes from human motion（Interaction Replica：人間の動きからの人物 – 物体インタラクション とシーン変化の追跡）

要約：
-人間は、ドアを開けたり家具を動かすなど、自然に環境を変える。
-メタバースなどのバーチャル空間でこのような相互作用を再現するために、それらをキャプチャおよびモデル化する必要がある。
-シーンのジオメトリの変化を含めて、理想的には自己中心的入力だけで（ヘッドカメラと体に付けられた慣性センサー）。
-ヘッドカメラを使用して人をシーン内でローカライズできますが、動的オブジェクトの姿勢を推定することははるかに困難です。
-オブジェクトはしばしばヘッドカメラから見えないため（人が座るときに椅子を見ない場合など）、視覚的オブジェクトの姿勢推定に頼ることはできません。
-代わりに、人の動きはシーンの変化について多くのことを教えてくれることに着目しています。
-iReplicaは、人の動きに基づく初めての人物 – 物体インタラクション推論手法であり、オブジェクトとシーンの変化を追跡できる。
-iReplicaは、没入型バーチャルユニバースの高度なAR / VRアプリケーションに向けた重要な第一歩であり、機械に周囲と相互作用する方法を教えるための人間中心のトレーニングデータを提供できる。
-当社のコード、データ、およびモデルは、http://virtualhumans.mpi-inf.mpg.de/ireplica/のプロジェクトページで利用可能になります。

要約(オリジナル)

Humans naturally change their environment through interactions, e.g., by opening doors or moving furniture. To reproduce such interactions in virtual spaces (e.g., metaverse), we need to capture and model them, including changes in the scene geometry, ideally from egocentric input alone (head camera and body-worn inertial sensors). While the head camera can be used to localize the person in the scene, estimating dynamic object pose is much more challenging. As the object is often not visible from the head camera (e.g., a human not looking at a chair while sitting down), we can not rely on visual object pose estimation. Instead, our key observation is that human motion tells us a lot about scene changes. Motivated by this, we present iReplica, the first human-object interaction reasoning method which can track objects and scene changes based solely on human motion. iReplica is an essential first step towards advanced AR/VR applications in immersive virtual universes and can provide human-centric training data to teach machines to interact with their surroundings. Our code, data and model will be available on our project page at http://virtualhumans.mpi-inf.mpg.de/ireplica/

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI