Scaling Neural Face Synthesis to High FPS and Low Latency by Neural Caching

要約

最近のニューラル レンダリング アプローチは、画質を大幅に向上させ、フォトリアリズムに近づきます。
ただし、基盤となるニューラル ネットワークの実行時間は長く、低レイテンシで高解像度を必要とするテレプレゼンスや仮想現実のアプリケーションは実行できません。
深いネットワーク内のレイヤーのシーケンシャルな依存関係により、最適化が困難になります。
前のフレームからの情報をキャッシュして、暗黙的なワープで現在のフレームの処理を高速化することで、この依存関係を断ち切ります。
浅いネットワークでのワーピングによりレイテンシが短縮され、キャッシング操作をさらに並列化してフレーム レートを向上させることができます。
既存のテンポラル ニューラル ネットワークとは対照的に、私たちのネットワークは、下にあるサーフェス メッシュの変化を調整することによって、顔の新しいビューをレンダリングするタスクに合わせて調整されています。
テレプレゼンスの必要に応じて、確立されたベンチマーク シーケンスで、3D ポートレート アバターのビュー依存レンダリングのアプローチをテストします。
ワーピングはレイテンシーを 70$\%$ (一般的な GPU では 49.4ms から 14.9ms に) 削減し、それに応じて複数の GPU でフレーム レートをスケーリングしますが、画質はわずか 1$\%$ 低下します。
ビューに依存する 3D 電話会議アプリケーションを終了します。
私たちのプロジェクト ページは https://yu-frank.github.io/lowlatency/ にあります。

要約(オリジナル)

Recent neural rendering approaches greatly improve image quality, reaching near photorealism. However, the underlying neural networks have high runtime, precluding telepresence and virtual reality applications that require high resolution at low latency. The sequential dependency of layers in deep networks makes their optimization difficult. We break this dependency by caching information from the previous frame to speed up the processing of the current one with an implicit warp. The warping with a shallow network reduces latency and the caching operations can further be parallelized to improve the frame rate. In contrast to existing temporal neural networks, ours is tailored for the task of rendering novel views of faces by conditioning on the change of the underlying surface mesh. We test the approach on view-dependent rendering of 3D portrait avatars, as needed for telepresence, on established benchmark sequences. Warping reduces latency by 70$\%$ (from 49.4ms to 14.9ms on commodity GPUs) and scales frame rates accordingly over multiple GPUs while reducing image quality by only 1$\%$, making it suitable as part of end-to-end view-dependent 3D teleconferencing applications. Our project page can be found at: https://yu-frank.github.io/lowlatency/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google