CIRCLE: Capture In Rich Contextual Environments

要約

タイトル：CIRCLE：Rich Contextual Environmentsでのキャプチャ

要約：
– 現実世界で人々が行うリアルなアクティビティをシミュレートするために、豊かな文脈的、生態学的環境での3D人間の動きを合成することは重要です。
– しかし、従来の光学ベースのモーションキャプチャシステムは、人間の動きと複雑なシーンを同時にキャプチャすることには適していません。
– 豊富な文脈的3D人間の動きのデータセットの欠如は、高品質の生成的人間モーションモデルの作成に対して障害となります。
– 我々は、俳優がリアルワールドでモーションキャプチャされながら、豊かな文脈的仮想世界を知覚し操作する「モーション獲得システム」を提案します。
– システムは、実世界での遮蔽や現実世界での物理的なシーンの構築の必要性がなく、高度に多様なシーンで高品質の人間の動きを迅速に収集することを可能にします。
– 私たちは、5人の被験者から9つのシーンにわたるフルボディリーチングモーションを含むCIRCLEというデータセットを提供しています。環境のエゴセントリックな情報が、RGBDビデオなどの様々な形式で表現されます。
– 私たちは、このデータセットを使用して、シーン情報に基づいて人間の動きを生成するモデルをトレーニングしました。
– 当社のデータセットを活用し、モデルは、複雑な3Dシーンの文脈での非自明なリーチングタスクを達成するために、エゴセントリックなシーン情報を使用する方法を学びます。
– データのダウンロードは、https://stanford-tml.github.io/circle_dataset/を訪問してください。

要約(オリジナル)

Synthesizing 3D human motion in a contextual, ecological environment is important for simulating realistic activities people perform in the real world. However, conventional optics-based motion capture systems are not suited for simultaneously capturing human movements and complex scenes. The lack of rich contextual 3D human motion datasets presents a roadblock to creating high-quality generative human motion models. We propose a novel motion acquisition system in which the actor perceives and operates in a highly contextual virtual world while being motion captured in the real world. Our system enables rapid collection of high-quality human motion in highly diverse scenes, without the concern of occlusion or the need for physical scene construction in the real world. We present CIRCLE, a dataset containing 10 hours of full-body reaching motion from 5 subjects across nine scenes, paired with ego-centric information of the environment represented in various forms, such as RGBD videos. We use this dataset to train a model that generates human motion conditioned on scene information. Leveraging our dataset, the model learns to use ego-centric scene information to achieve nontrivial reaching tasks in the context of complex 3D scenes. To download the data please visit https://stanford-tml.github.io/circle_dataset/.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI