MIME: Human-Aware 3D Scene Generation

要約

動く人間が占めるリアルな 3D 世界の生成には、ゲーム、建築、合成データの作成に多くの用途があります。
しかし、そのようなシーンを生成するには、費用と労力がかかります。
最近の研究では、与えられた 3D シーンから人間のポーズとモーションを生成しています。
ここでは、逆のアプローチを取り、3D の人間の動きを考慮して 3D の屋内シーンを生成します。
このようなモーションは、アーカイブ モーション キャプチャまたは身体に装着された IMU センサーから生成され、3D 世界の「スキャナー」で人間の動きを効果的に変換します。
直感的に、人間の動きは部屋の自由空間を示し、人間の接触は座る、横になる、触れるなどの活動をサポートする表面または物体を示します。
MIME (Mining Interaction and Movement to infer 3D Environments) を提案します。これは、人間の動きと一致する家具のレイアウトを生成する屋内シーンの生成モデルです。
MIME は、シーン内で既に生成されたオブジェクトと人間の動きを入力として受け取り、次のもっともらしいオブジェクトを出力する自己回帰トランスフォーマー アーキテクチャを使用します。
MIME をトレーニングするために、3D FRONT シーン データセットに 3D 人間を入力してデータセットを構築します。
私たちの実験は、MIME が人間の動きを知らない最近のシーン生成手法よりも多様でもっともらしい 3D シーンを生成することを示しています。
コードとデータは、https://mime.is.tue.mpg.de で調査できます。

要約(オリジナル)

Generating realistic 3D worlds occupied by moving humans has many applications in games, architecture, and synthetic data creation. But generating such scenes is expensive and labor intensive. Recent work generates human poses and motions given a 3D scene. Here, we take the opposite approach and generate 3D indoor scenes given 3D human motion. Such motions can come from archival motion capture or from IMU sensors worn on the body, effectively turning human movement in a ‘scanner’ of the 3D world. Intuitively, human movement indicates the free-space in a room and human contact indicates surfaces or objects that support activities such as sitting, lying or touching. We propose MIME (Mining Interaction and Movement to infer 3D Environments), which is a generative model of indoor scenes that produces furniture layouts that are consistent with the human movement. MIME uses an auto-regressive transformer architecture that takes the already generated objects in the scene as well as the human motion as input, and outputs the next plausible object. To train MIME, we build a dataset by populating the 3D FRONT scene dataset with 3D humans. Our experiments show that MIME produces more diverse and plausible 3D scenes than a recent generative scene method that does not know about human movement. Code and data will be available for research at https://mime.is.tue.mpg.de.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google