Compositional 3D Human-Object Neural Animation

要約

【タイトル】3D構成要素を用いた人間-物体の神経アニメーション

【要約】
-「人間指向の視覚生成」「AR/VR」「ロボティクス」など人間中心の場面理解アプリケーションにおいて、人間と物体の相互作用は重要である。
-現存する方法はHOI（人物と物体の相互作用）をキャプチャすることに重点が置かれている一方、HOI描画についてはまだ研究されていない。
-この論文では、新しいHOIを構成要素の側面からアニメーションする方法により、HOIアニメーションの問題に取り組む。
-ニューラルヒューマンオブジェクト変形を採用し、主に暗黙のニューラル表現に基づいてHOI動力学をモデル化およびレンダリングする。
-異なる人物と物体間でのインタラクションポーズの伝達を可能にするために、新しい構成条件つきニューラル放射場（CC-NeRF）を開発することで、latent codesを使用して人間と物体の相互依存関係を分解し、新しいHOIの構成要素のアニメーションコントロールを可能にする。
-実験結果から、提案手法は新しいHOIアニメーション設定においても汎用的に適用されることを示している。

要約(オリジナル)

Human-object interactions (HOIs) are crucial for human-centric scene understanding applications such as human-centric visual generation, AR/VR, and robotics. Since existing methods mainly explore capturing HOIs, rendering HOI remains less investigated. In this paper, we address this challenge in HOI animation from a compositional perspective, i.e., animating novel HOIs including novel interaction, novel human and/or novel object driven by a novel pose sequence. Specifically, we adopt neural human-object deformation to model and render HOI dynamics based on implicit neural representations. To enable the interaction pose transferring among different persons and objects, we then devise a new compositional conditional neural radiance field (or CC-NeRF), which decomposes the interdependence between human and object using latent codes to enable compositionally animation control of novel HOIs. Experiments show that the proposed method can generalize well to various novel HOI animation settings. Our project page is https://zhihou7.github.io/CHONA/

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI