MoRF: Mobile Realistic Fullbody Avatars from a Monocular Video

要約

Mobile Realistic Fullbody (MoRF) アバターを作成するシステムを紹介します。
MoRF アバターはモバイル デバイス上でリアルタイムにレンダリングされ、単眼ビデオから学習され、高いリアリズムを備えています。
SMPL-X をプロキシ ジオメトリとして使用し、DNR (ニューラル テクスチャおよびイメージ 2 イメージ ネットワーク) でレンダリングします。
ニューラル テクスチャ空間でフレームごとのワーピング フィールドをオーバーフィットすることで、以前の作業を改善し、異なるフレーム間でトレーニング信号をより適切に調整できるようにしました。
また、SMPL-X メッシュ フィッティング手順を改良して、アバター全体の品質を向上させました。
他の単眼ビデオベースのアバター システムと比較すると、MoRF アバターはより高い画像の鮮明さと時間的一貫性を実現します。
私たちのユーザー調査の参加者も、MoRF によって生成されたアバターを好んでいました。

要約(オリジナル)

We present a system to create Mobile Realistic Fullbody (MoRF) avatars. MoRF avatars are rendered in real-time on mobile devices, learned from monocular videos, and have high realism. We use SMPL-X as a proxy geometry and render it with DNR (neural texture and image-2-image network). We improve on prior work, by overfitting per-frame warping fields in the neural texture space, allowing to better align the training signal between different frames. We also refine SMPL-X mesh fitting procedure to improve the overall avatar quality. In the comparisons to other monocular video-based avatar systems, MoRF avatars achieve higher image sharpness and temporal consistency. Participants of our user study also preferred avatars generated by MoRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google