High-Fidelity Human Avatars from Laptop Webcams using Edge Compute

要約

フォトリアリスティックな人間アバターを生成する用途は数多くあるが、高忠実度のアバター生成には、従来、高価なプロ用カメラリグと芸術的な労力が必要であった。しかし、最近の研究により、RGBおよびIRセンサーを搭載したスマートフォンから自動的にアバターを構築できるようになった。しかし、これらの新しい方法は、依然として最新のスマートフォンに搭載された高解像度カメラの存在に依存しており、多くの場合、GPUを搭載した強力なサーバーに処理をオフロードする必要がある。ビデオ会議のような最新のアプリケーションでは、コンシューマーグレードのノートPCのウェブカメラから、デバイス上で利用可能な限られた計算量を使用して、これらのアバターを生成する能力が求められている。この研究では、3Dモーファブルモデル、ランドマーク検出、フォトリアリスティックテクスチャGAN、微分可能レンダリングに基づく新しい手法を開発し、ウェブカメラの低画質とエッジ計算の問題に取り組む。モバイルチップのニューラル計算機能を活用し、このような制限の下で、忠実度の高いアニメーション可能なアバターを自動生成するシステムを構築する。

要約(オリジナル)

Applications of generating photo-realistic human avatars are many, however, high-fidelity avatar generation traditionally required expensive professional camera rigs and artistic labor, but recent research has enabled constructing them automatically from smartphones with RGB and IR sensors. However, these new methods still rely on the presence of high-resolution cameras on modern smartphones and often require offloading the processing to powerful servers with GPUs. Modern applications such as video conferencing call for the ability to generate these avatars from consumer-grade laptop webcams using limited compute available on-device. In this work, we develop a novel method based on 3D morphable models, landmark detection, photo-realistic texture GANs, and differentiable rendering to tackle the problem of low webcam image quality and edge computation. We build an automatic system to generate high-fidelity animatable avatars under these limitations, leveraging the neural compute capabilities of mobile chips.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL