Evaluation of strategies for efficient rate-distortion NeRF streaming

要約

Neural Radiance Fields (NeRF) は、まばらな画像セットから非常にリアルで詳細なシーンの再構築を可能にし、3D 視覚表現の分野に革命をもたらしました。
NeRF は、3D ポイントを対応する色と不透明度にマッピングする体積関数表現を使用し、任意の視点からの写真のようにリアルなビューの合成を可能にします。
NeRF コンテンツの効率的なストリーミングは、その進歩にもかかわらず、大量のデータが関与するため依然として大きな課題です。
この論文では、ピクセル ベースのストリーミングとニューラル ネットワーク (NN) パラメーター ベースのストリーミングという 2 つの NeRF ストリーミング戦略のレート歪みパフォーマンスを調査します。
前者では、画像が符号化されてネットワーク全体に送信されますが、後者では、代わりにそれぞれの NeRF モデル パラメータが符号化されて送信されます。
この研究では、複雑さとパフォーマンスのトレードオフも強調しており、NN パラメーターベースの戦略が一般に優れた効率を提供し、1 対多のストリーミング シナリオに適していることを示しています。

要約(オリジナル)

Neural Radiance Fields (NeRF) have revolutionized the field of 3D visual representation by enabling highly realistic and detailed scene reconstructions from a sparse set of images. NeRF uses a volumetric functional representation that maps 3D points to their corresponding colors and opacities, allowing for photorealistic view synthesis from arbitrary viewpoints. Despite its advancements, the efficient streaming of NeRF content remains a significant challenge due to the large amount of data involved. This paper investigates the rate-distortion performance of two NeRF streaming strategies: pixel-based and neural network (NN) parameter-based streaming. While in the former, images are coded and then transmitted throughout the network, in the latter, the respective NeRF model parameters are coded and transmitted instead. This work also highlights the trade-offs in complexity and performance, demonstrating that the NN parameter-based strategy generally offers superior efficiency, making it suitable for one-to-many streaming scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google