Dressing Avatars: Deep Photorealistic Appearance for Physically Simulated Clothing

要約

アニメート可能な全身アバターの開発における最近の進歩にもかかわらず、人間の自己表現の中心的な側面の1つである衣服の現実的なモデリングは未解決の課題のままです。
最先端の物理シミュレーション手法により、インタラクティブな速度でリアルに動作する衣服のジオメトリを生成できます。
ただし、フォトリアリスティックな外観のモデリングには、通常、物理ベースのレンダリングが必要であり、インタラクティブなアプリケーションにはコストがかかりすぎます。
一方、データ駆動型の深みのある外観モデルは、リアルな外観を効率的に生成できますが、非常に動的な衣服のジオメトリを合成し、困難な体の衣服の構成を処理するのに苦労します。
この目的のために、現実世界のデータから学習したリアルな衣服のダイナミクスとフォトリアリスティックな外観の両方を示す、衣服の明示的なモデリングを備えたポーズ駆動型アバターを紹介します。
重要なアイデアは、明示的なジオメトリの上で動作する神経衣料の外観モデルを導入することです。電車の時間では忠実度の高い追跡を使用しますが、アニメーションの時間では物理的にシミュレートされたジオメトリに依存します。
私たちの主な貢献は、物理的に着想を得た外観ネットワークであり、目に見えない体の衣服の構成でも、ビューに依存した動的なシャドウイング効果を備えたフォトリアリスティックな外観を生成できます。
モデルを徹底的に評価し、さまざまな主題やさまざまな種類の衣服についてさまざまなアニメーション結果を示します。
フォトリアリスティックな全身アバターに関する以前の作業とは異なり、私たちのアプローチは、ゆったりとした衣服でも、はるかに豊かなダイナミクスとよりリアルな変形を生み出すことができます。
また、私たちの処方により、完全にアニメート可能でありながら、さまざまな人々のアバターで衣服を自然に使用できることを示します。これにより、初めて、斬新な衣服でフォトリアリスティックなアバターを使用できるようになります。

要約(オリジナル)

Despite recent progress in developing animatable full-body avatars, realistic modeling of clothing – one of the core aspects of human self-expression – remains an open challenge. State-of-the-art physical simulation methods can generate realistically behaving clothing geometry at interactive rate. Modeling photorealistic appearance, however, usually requires physically-based rendering which is too expensive for interactive applications. On the other hand, data-driven deep appearance models are capable of efficiently producing realistic appearance, but struggle at synthesizing geometry of highly dynamic clothing and handling challenging body-clothing configurations. To this end, we introduce pose-driven avatars with explicit modeling of clothing that exhibit both realistic clothing dynamics and photorealistic appearance learned from real-world data. The key idea is to introduce a neural clothing appearance model that operates on top of explicit geometry: at train time we use high-fidelity tracking, whereas at animation time we rely on physically simulated geometry. Our key contribution is a physically-inspired appearance network, capable of generating photorealistic appearance with view-dependent and dynamic shadowing effects even for unseen body-clothing configurations. We conduct a thorough evaluation of our model and demonstrate diverse animation results on several subjects and different types of clothing. Unlike previous work on photorealistic full-body avatars, our approach can produce much richer dynamics and more realistic deformations even for loose clothing. We also demonstrate that our formulation naturally allows clothing to be used with avatars of different people while staying fully animatable, thus enabling, for the first time, photorealistic avatars with novel clothing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google