NEPHELE: A Neural Platform for Highly Realistic Cloud Radiance Rendering

要約

最近、フォトリアルな自由視点合成のためのニューラルレンダリング（NR）の進歩、すなわちNeRFに多大な進歩が見られるようになりました。しかし、単一のコンピュータ/GPUに基づくローカルな技術であるため、高解像度でレンダリングする場合、最もよく設計されたInstant-NGPやi-NGPであってもリアルタイム性能を達成できず、しばしば巨大なローカルコンピューティングリソースが必要となります。本論文では、雲レンダリングに着目し、非常にリアルな雲放射輝度レンダリングのためのニューラルプラットフォームであるNEPHELEを紹介します。既存のNRアプローチとは対照的に、我々のNEPHELEは、複数のリモートGPUを組み合わせることでより強力なレンダリング機能を実現し、同じNeRFシーンを複数の人が同時に見ることでコラボレーションを促進する。i-NOLFを導入し、1クエリ1レイの超高速神経放射輝度レンダリングのために不透明ライトフィールドを採用しています。さらに、高速な光線クエリのためにジオメトリプロキシーでルミグラフを類似させ、その後、高品質のレンダリングのために局所的な不透明度ルミシュペアをモデル化する小さなMLPを採用しています。また、i-NOLFでは、キャッシュコヒーレンスを強化するために、Perfect Spatial Hashingを採用しています。その結果、i-NOLFは、特にクラウドレンダリングシナリオのマルチユーザー多視点設定において、i-NGPよりも効率の面で1桁の性能向上を達成した。さらに、i-NOLF表現に付随するタスクスケジューラを調整し、レンダーファーム、タスクアサイダー、フレームコンポーザー、詳細なストリーミング戦略といった一連の連携モジュールからなる包括的なクラウドプラットフォームを通じて、我々の方法論設計の先進性を実証する。このようなニューラルレンダリングに対応したクラウドプラットフォームを用い、クラウドVR/ARレンダリングに至るまで、一連のアプリケーションを通じて、我々のクラウドラディアンスレンダリングの能力をさらに紹介する。

要約(オリジナル)

We have recently seen tremendous progress in neural rendering (NR) advances, i.e., NeRF, for photo-real free-view synthesis. Yet, as a local technique based on a single computer/GPU, even the best-engineered Instant-NGP or i-NGP cannot reach real-time performance when rendering at a high resolution, and often requires huge local computing resources. In this paper, we resort to cloud rendering and present NEPHELE, a neural platform for highly realistic cloud radiance rendering. In stark contrast with existing NR approaches, our NEPHELE allows for more powerful rendering capabilities by combining multiple remote GPUs and facilitates collaboration by allowing multiple people to view the same NeRF scene simultaneously. We introduce i-NOLF to employ opacity light fields for ultra-fast neural radiance rendering in a one-query-per-ray manner. We further resemble the Lumigraph with geometry proxies for fast ray querying and subsequently employ a small MLP to model the local opacity lumishperes for high-quality rendering. We also adopt Perfect Spatial Hashing in i-NOLF to enhance cache coherence. As a result, our i-NOLF achieves an order of magnitude performance gain in terms of efficiency than i-NGP, especially for the multi-user multi-viewpoint setting under cloud rendering scenarios. We further tailor a task scheduler accompanied by our i-NOLF representation and demonstrate the advance of our methodological design through a comprehensive cloud platform, consisting of a series of cooperated modules, i.e., render farms, task assigner, frame composer, and detailed streaming strategies. Using such a cloud platform compatible with neural rendering, we further showcase the capabilities of our cloud radiance rendering through a series of applications, ranging from cloud VR/AR rendering.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL