HOSNeRF: Dynamic Human-Object-Scene Neural Radiance Fields from a Single Video

要約

タイトル：HOSNeRF: Dynamic Human-Object-Scene Neural Radiance Fields from a Single Video

要約：
– 単眼で撮影された『野外』ビデオから、1つのフレームから360{\deg}の自由視点レンダリングを可能にする新しい方法であるHOSNeRFを紹介しています。
– 本法は、動的な人間、オブジェクト、背景のニューラル放射力場を再構築し、任意の視点からすべてのシーンの詳細をレンダリングすることができます。
– このタスクの最初の課題は、人間オブジェクトの複雑な動きであり、新しいオブジェクトボーンを導入して大きなオブジェクトの変形をうまく推定することで解決します。
– 2番目の課題は、人間が異なるオブジェクトと異なる時間に相互作用することであり、学習可能な2つのオブジェクト状態埋め込みを導入して、人間オブジェクト表現とシーン表現を学習するための条件として使用できます。
– 広範な実験により、HOSNeRFは、2つの厳しいデータセットにおいてLPIPSにおいて40%〜50%の大幅なマージンでSOTAアプローチに比べて大幅に優れていることが示されています。
– コード、データ、および単一ビデオからの360{\deg} free-viewpointレンダリングの説得力のある例は、https://showlab.github.io/HOSNeRFでリリースされます。

要約(オリジナル)

We introduce HOSNeRF, a novel 360{\deg} free-viewpoint rendering method that reconstructs neural radiance fields for dynamic human-object-scene from a single monocular in-the-wild video. Our method enables pausing the video at any frame and rendering all scene details (dynamic humans, objects, and backgrounds) from arbitrary viewpoints. The first challenge in this task is the complex object motions in human-object interactions, which we tackle by introducing the new object bones into the conventional human skeleton hierarchy to effectively estimate large object deformations in our dynamic human-object model. The second challenge is that humans interact with different objects at different times, for which we introduce two new learnable object state embeddings that can be used as conditions for learning our human-object representation and scene representation, respectively. Extensive experiments show that HOSNeRF significantly outperforms SOTA approaches on two challenging datasets by a large margin of 40% ~ 50% in terms of LPIPS. The code, data, and compelling examples of 360{\deg} free-viewpoint renderings from single videos will be released in https://showlab.github.io/HOSNeRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI