Gaussian Shadow Casting for Neural Characters

要約

ニューラル キャラクター モデルは、ビデオから詳細なジオメトリとテクスチャを再構築できるようになりましたが、明示的なシャドウとシェーディングが欠けているため、新しいビューやポーズを生成するとき、または再照明中にアーティファクトが発生します。
シャドウはグローバルな効果であり、必要な二次光線のキャストにはコストがかかるため、シャドウを含めるのは特に困難です。
我々は、サンプリングを単純な解析式に置き換えるガウス密度プロキシを使用した新しい影モデルを提案します。
動的モーションをサポートし、シャドウ計算用に調整されているため、密接に関連するガウス スプラッティングに必要なアフィン投影近似と並べ替えが回避されます。
遅延ニューラル レンダリング モデルと組み合わせると、ガウス シャドウを最小限のオーバーヘッドでランバーシアン シェーディングとシャドウ キャストが可能になります。
直射日光と強い影のある困難な屋外シーンにおいて、アルベド、シェーディング、シャドウの分離が改善され、再構築が改善されたことを示します。
私たちの方法は、ユーザーからの入力なしで光の方向を最適化できます。
その結果、新しいポーズではシャドウ アーティファクトが少なくなり、最先端の方法と比較して新しいシーンでの再照明がより現実的になり、新しい環境でニューラル キャラクターにポーズを付けるための新しい方法が提供され、その適用性が向上します。

要約(オリジナル)

Neural character models can now reconstruct detailed geometry and texture from video, but they lack explicit shadows and shading, leading to artifacts when generating novel views and poses or during relighting. It is particularly difficult to include shadows as they are a global effect and the required casting of secondary rays is costly. We propose a new shadow model using a Gaussian density proxy that replaces sampling with a simple analytic formula. It supports dynamic motion and is tailored for shadow computation, thereby avoiding the affine projection approximation and sorting required by the closely related Gaussian splatting. Combined with a deferred neural rendering model, our Gaussian shadows enable Lambertian shading and shadow casting with minimal overhead. We demonstrate improved reconstructions, with better separation of albedo, shading, and shadows in challenging outdoor scenes with direct sun light and hard shadows. Our method is able to optimize the light direction without any input from the user. As a result, novel poses have fewer shadow artifacts and relighting in novel scenes is more realistic compared to the state-of-the-art methods, providing new ways to pose neural characters in novel environments, increasing their applicability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google