Multiscale Representation for Real-Time Anti-Aliasing Neural Rendering

要約

タイトル：リアルタイムアンチエイリアシングニューラルレンダリングにおけるマルチスケール表現

要約：

– ニューラル放射場（NeRF）のレンダリングスキームは、シーンにレイを投影して1ピクセルをレンダリングすることで効果的です。
– しかし、トレーニング画像が非一様なスケールでキャプチャされた場合、NeRFはぼやけたレンダリング結果を生じ、テスト画像が遠くの視点で取得された場合にはエイリアシングアーティファクトを生じます。
– Mip-NeRFは円錐台をマルチスケール表現として提案し、スケール情報をエンコードすることで、この問題に対処しました。
– しかしながら、このアプローチはオフラインレンダリングにしか適しておらず、マルチレイヤーパーセプトロン（MLP）をクエリするために統合された位置エンコーディング（IPE）に依存しています。
– この制限を克服するために、私たちはリアルタイムアンチエイリアシングレンダリングのための遅延アーキテクチャを持つ明示的なマルチスケール表現のMip-VoGを提案しています。
– 私たちのアプローチには、シーンジオメトリの密度Mip-VoGと、ビュー依存の色を持つ小さなMLPを持つ特徴Mip-VoGが含まれています。
– Mip-VoGは、レイの微分から導かれた詳細レベル（LOD）を使用してシーンスケールをエンコードし、クエリされた3D位置を二つの隣接するダウンサンプルされたボクセルグリッドから特徴と密度にマップするために四線形補間を使用します。
– 私たちのアプローチは、マルチスケールトレーニングとリアルタイムアンチエイリアシングレンダリングを同時に提供する最初のものであるとしています。
– 私たちはマルチスケールデータセット上で実験を行い、結果は私たちのアプローチが最新のリアルタイムレンダリングベースラインを上回ることを示しています。

要約(オリジナル)

The rendering scheme in neural radiance field (NeRF) is effective in rendering a pixel by casting a ray into the scene. However, NeRF yields blurred rendering results when the training images are captured at non-uniform scales, and produces aliasing artifacts if the test images are taken in distant views. To address this issue, Mip-NeRF proposes a multiscale representation as a conical frustum to encode scale information. Nevertheless, this approach is only suitable for offline rendering since it relies on integrated positional encoding (IPE) to query a multilayer perceptron (MLP). To overcome this limitation, we propose mip voxel grids (Mip-VoG), an explicit multiscale representation with a deferred architecture for real-time anti-aliasing rendering. Our approach includes a density Mip-VoG for scene geometry and a feature Mip-VoG with a small MLP for view-dependent color. Mip-VoG encodes scene scale using the level of detail (LOD) derived from ray differentials and uses quadrilinear interpolation to map a queried 3D location to its features and density from two neighboring downsampled voxel grids. To our knowledge, our approach is the first to offer multiscale training and real-time anti-aliasing rendering simultaneously. We conducted experiments on multiscale datasets, and the results show that our approach outperforms state-of-the-art real-time rendering baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI