Putting People in Their Place: Affordance-Aware Human Insertion into Scenes

要約

タイトル：シーンへの適応感覚による人物のシーンへの挿入

要約：
– シーンへの適応感覚の解釈を研究し、人物をリアルな方法でシーンに挿入する手法を提供する。
– シーン画像と人物画像が与えられた場合、シーン適応感覚に応じて人物をシーンに挿入する。
– シーンの文脈に基づいてリアルなポーズを推測し、リファレンス人物のポーズを再構成し、構図を調和させることができる。
– 自己教師学習でタスクを設定し、ビデオクリップで人間を再構成することを学習する。
– 2.4Mのビデオクリップのデータセットで大規模な拡散モデルをトレーニングして、シーンの文脈を尊重しながら多様なリアルなポーズを生成できる。
– 学習済みの人間-シーン構成が与えられた場合、モデルは条件を与えずにリアルな人物とシーンを幻想し、インタラクティブに編集することも可能。
– 定量的な評価によれば、従来の方法よりもよりリアルな人間の見た目とより自然な人間-シーンの相互作用を合成できることが示されている。

要約(オリジナル)

We study the problem of inferring scene affordances by presenting a method for realistically inserting people into scenes. Given a scene image with a marked region and an image of a person, we insert the person into the scene while respecting the scene affordances. Our model can infer the set of realistic poses given the scene context, re-pose the reference person, and harmonize the composition. We set up the task in a self-supervised fashion by learning to re-pose humans in video clips. We train a large-scale diffusion model on a dataset of 2.4M video clips that produces diverse plausible poses while respecting the scene context. Given the learned human-scene composition, our model can also hallucinate realistic people and scenes when prompted without conditioning and also enables interactive editing. A quantitative evaluation shows that our method synthesizes more realistic human appearance and more natural human-scene interactions than prior work.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI