DNF-Avatar: Distilling Neural Fields for Real-time Animatable Avatar Relighting

要約

Monocular Videosから信頼できるアニメーション可能な人間のアバターを作成することは、さまざまなアプリケーションを備えた研究トピックの高まりです。
バーチャルリアリティ、スポーツ、ビデオゲーム。
以前の作品は、神経フィールドと物理ベースのレンダリング（PBR）を利用して、人間のアバターのジオメトリと解き角の外観特性を推定します。
ただし、これらの方法の欠点の1つは、高価なモンテカルロレイトレースによるレンダリング速度が遅いことです。
この問題に取り組むために、私たちは知識を暗黙の神経分野（教師）から蒸留することを提案しました。
光線追跡を避けるために、PBRの外観にスプリットサム近似を使用します。
また、シャドウ計算のための新しい部分的な周囲閉塞プローブを提案します。
シャドウ予測は、これらのプローブをピクセルごとに1回だけクエリすることで達成されます。これにより、アバターのリアルタイムの学習への道が開かれます。
これらの手法を組み合わせた手法は、高品質の再生結果を実現し、現実的な影の効果をもたらします。
私たちの実験は、提案されている学生モデルが教師モデルで同等またはさらに良い再生結果を達成し、推論時間で370倍高速であり、67 fpsのレンダリング速度を達成することを示しています。

要約(オリジナル)

Creating relightable and animatable human avatars from monocular videos is a rising research topic with a range of applications, e.g. virtual reality, sports, and video games. Previous works utilize neural fields together with physically based rendering (PBR), to estimate geometry and disentangle appearance properties of human avatars. However, one drawback of these methods is the slow rendering speed due to the expensive Monte Carlo ray tracing. To tackle this problem, we proposed to distill the knowledge from implicit neural fields (teacher) to explicit 2D Gaussian splatting (student) representation to take advantage of the fast rasterization property of Gaussian splatting. To avoid ray-tracing, we employ the split-sum approximation for PBR appearance. We also propose novel part-wise ambient occlusion probes for shadow computation. Shadow prediction is achieved by querying these probes only once per pixel, which paves the way for real-time relighting of avatars. These techniques combined give high-quality relighting results with realistic shadow effects. Our experiments demonstrate that the proposed student model achieves comparable or even better relighting results with our teacher model while being 370 times faster at inference time, achieving a 67 FPS rendering speed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google