Hardware Acceleration of Neural Graphics

要約

タイトル：ニューラルグラフィックスのハードウェアアクセラレーション

要約：
– クラシックなコンピュータグラフィックスを駆動するレンダリングと逆レンダリングアルゴリズムは、最近ニューラル表現（NR）によって超越されました。
– NRは、シーンの幾何学的および材料特性を学習し、その情報を用いて写真のような画像を描写することができるため、従来のレンダリングアルゴリズムの代替手段としてスケーラブルな品質と予測可能なパフォーマンスを提供することが期待されています。
– 本研究では、ニューラルグラフィックス（NG）がハードウェアサポートを必要とするかどうかについての疑問を投げかけます。
– 現在のGPU上で4k res. at 60FPS をレンダリングするために必要な性能の欠如が1.5X-55Xあり、AR / VRアプリケーションの場合、要求される性能と必要なシステムパワーとの間には2-4 OOMのさらに大きなギャップがあります。
– 入力エンコードとMLPカーネルがパフォーマンスのボトルネックであることが特定され、多層ハッシュグリッド、多層デンスグリッド、低分解能のデンスグリッドエンコーディングでは、それぞれアプリケーションの72％、60％、59％の時間を消費していることがわかります。
– NG処理クラスターは、専用エンジンを介して入力エンコードとMLPカーネルを直接加速し、幅広いNGアプリケーションをサポートする拡張性があり柔軟なハードウェアアーキテクチャを提供します。残りのカーネルもVulkanで融合して高速化します。前処理と後処理カーネルを融合した実装と比較して、カーネルレベルのパフォーマンスが9.94倍向上します。
– 我々の結果は、NGPCが4つのNGアプリケーション全体で平均的にマルチレスハッシュグリッドエンコーディングにおいて最大58倍のエンドツーエンドのアプリケーションレベルの性能向上を与えることを示しています。スケーリングファクターが8、16、32、64の場合、パフォーマンスの利益はそれぞれ12X、20X、33X、39Xです。マルチレスハッシュグリッドエンコーディングにより、NeRFに対しては4k res. at 30FPS、他のすべてのNGアプリケーションに対しては8k res. at 120FPSが可能になります。

要約(オリジナル)

Rendering and inverse-rendering algorithms that drive conventional computer graphics have recently been superseded by neural representations (NR). NRs have recently been used to learn the geometric and the material properties of the scenes and use the information to synthesize photorealistic imagery, thereby promising a replacement for traditional rendering algorithms with scalable quality and predictable performance. In this work we ask the question: Does neural graphics (NG) need hardware support? We studied representative NG applications showing that, if we want to render 4k res. at 60FPS there is a gap of 1.5X-55X in the desired performance on current GPUs. For AR/VR applications, there is an even larger gap of 2-4 OOM between the desired performance and the required system power. We identify that the input encoding and the MLP kernels are the performance bottlenecks, consuming 72%,60% and 59% of application time for multi res. hashgrid, multi res. densegrid and low res. densegrid encodings, respectively. We propose a NG processing cluster, a scalable and flexible hardware architecture that directly accelerates the input encoding and MLP kernels through dedicated engines and supports a wide range of NG applications. We also accelerate the rest of the kernels by fusing them together in Vulkan, which leads to 9.94X kernel-level performance improvement compared to un-fused implementation of the pre-processing and the post-processing kernels. Our results show that, NGPC gives up to 58X end-to-end application-level performance improvement, for multi res. hashgrid encoding on average across the four NG applications, the performance benefits are 12X,20X,33X and 39X for the scaling factor of 8,16,32 and 64, respectively. Our results show that with multi res. hashgrid encoding, NGPC enables the rendering of 4k res. at 30FPS for NeRF and 8k res. at 120FPS for all our other NG applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI