SqueezeMe: Efficient Gaussian Avatars for VR

要約

ガウス スプラッティングにより、前例のないレベルの視覚品質を備えたリアルタイム 3D 人間アバターが可能になりました。
これまでの方法では、単一のアバターのリアルタイム推論にデスクトップ GPU が必要でしたが、私たちはリアルタイムの駆動可能な推論を備えたポータブル仮想現実ヘッドセットに複数のガウス アバターを詰め込むことを目指しています。
まず、512 台のカメラでキャプチャされた高品質のデータセットで以前の作品である Animatable Gaussians をトレーニングします。
ガウスは、リニア ブレンド スキニング (LBS) モーションでガウスの基本セットを制御し、ニューラル ネットワーク デコーダでガウスをさらに調整して外観を修正することによってアニメーション化されます。
Meta Quest 3 VR ヘッドセットにモデルをデプロイする場合、デコーダとレンダリングという 2 つの主要な計算ボトルネックが見つかりました。
デコーダを高速化するために、ピクセル空間ではなく UV 空間でガウス分布をトレーニングし、デコーダを単一のニューラル ネットワーク層に抽出します。
さらに、ガウス分布の近傍がデコーダからの 1 つの修正を共有できるため、さらに高速化できることがわかりました。
レンダリングを高速化するために、モバイル GPU で実行されるカスタム パイプラインを Vulkan で開発します。
すべてをまとめると、VR ヘッドセット上で 3 つのガウス アバターを 72 FPS で同時に実行します。
デモビデオは https://forresti.github.io/squeezeme にあります。

要約(オリジナル)

Gaussian Splatting has enabled real-time 3D human avatars with unprecedented levels of visual quality. While previous methods require a desktop GPU for real-time inference of a single avatar, we aim to squeeze multiple Gaussian avatars onto a portable virtual reality headset with real-time drivable inference. We begin by training a previous work, Animatable Gaussians, on a high quality dataset captured with 512 cameras. The Gaussians are animated by controlling base set of Gaussians with linear blend skinning (LBS) motion and then further adjusting the Gaussians with a neural network decoder to correct their appearance. When deploying the model on a Meta Quest 3 VR headset, we find two major computational bottlenecks: the decoder and the rendering. To accelerate the decoder, we train the Gaussians in UV-space instead of pixel-space, and we distill the decoder to a single neural network layer. Further, we discover that neighborhoods of Gaussians can share a single corrective from the decoder, which provides an additional speedup. To accelerate the rendering, we develop a custom pipeline in Vulkan that runs on the mobile GPU. Putting it all together, we run 3 Gaussian avatars concurrently at 72 FPS on a VR headset. Demo videos are at https://forresti.github.io/squeezeme.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google