TRIPS: Trilinear Point Splatting for Real-Time Radiance Field Rendering

要約

ポイントベースの放射輝度フィールド レンダリングは、新しいビュー合成において印象的な結果を示し、レンダリング品質と計算効率の魅力的な融合を実現します。
ただし、この分野の最新のアプローチにも欠点がないわけではありません。
3D ガウス スプラッティング [Kerbl および Kopanas et al.
2023] は、非常に詳細なシーンをレンダリングする必要がある場合、ぼやけや曇りのアーティファクトが原因で苦労します。
一方、ADOP [R\’uckert et al.
2022] はより鮮明な画像に対応できますが、ニューラル再構成ネットワークはパフォーマンスを低下させ、時間的不安定性に対処し、点群内の大きなギャップに効果的に対処することができません。
この論文では、ガウス スプラッティングと ADOP の両方のアイデアを組み合わせたアプローチである TRIPS (Trilinear Point Splatting) を紹介します。
私たちの新しい技術の背後にある基本概念には、点をスクリーン空間の画像ピラミッドにラスタライズすることが含まれており、ピラミッド レイヤーの選択は投影された点のサイズによって決まります。
このアプローチでは、単一のトライリニア書き込みを使用して任意の大きなポイントをレンダリングできます。
次に、軽量ニューラル ネットワークを使用して、スプラット解像度を超える詳細を含む穴のない画像を再構築します。
重要なのは、レンダリング パイプラインは完全に微分可能であり、ポイント サイズと位置の両方を自動的に最適化できることです。
私たちの評価では、TRIPS が、すぐに入手できるハードウェア上で 60 フレーム/秒のリアルタイム フレーム レートを維持しながら、レンダリング品質の点で既存の最先端の方法を上回っていることが実証されました。
このパフォーマンスは、複雑な幾何学模様、広大な風景、自動露出映像を特徴とするシーンなどの難しいシナリオにも拡張されます。

要約(オリジナル)

Point-based radiance field rendering has demonstrated impressive results for novel view synthesis, offering a compelling blend of rendering quality and computational efficiency. However, also latest approaches in this domain are not without their shortcomings. 3D Gaussian Splatting [Kerbl and Kopanas et al. 2023] struggles when tasked with rendering highly detailed scenes, due to blurring and cloudy artifacts. On the other hand, ADOP [R\’uckert et al. 2022] can accommodate crisper images, but the neural reconstruction network decreases performance, it grapples with temporal instability and it is unable to effectively address large gaps in the point cloud. In this paper, we present TRIPS (Trilinear Point Splatting), an approach that combines ideas from both Gaussian Splatting and ADOP. The fundamental concept behind our novel technique involves rasterizing points into a screen-space image pyramid, with the selection of the pyramid layer determined by the projected point size. This approach allows rendering arbitrarily large points using a single trilinear write. A lightweight neural network is then used to reconstruct a hole-free image including detail beyond splat resolution. Importantly, our render pipeline is entirely differentiable, allowing for automatic optimization of both point sizes and positions. Our evaluation demonstrate that TRIPS surpasses existing state-of-the-art methods in terms of rendering quality while maintaining a real-time frame rate of 60 frames per second on readily available hardware. This performance extends to challenging scenarios, such as scenes featuring intricate geometry, expansive landscapes, and auto-exposed footage.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google