Global Latent Neural Rendering

要約

一般化可能な新しいビュー合成方法の最近の傾向は、単一のカメラ レイ上で動作するレンダリング オペレータを学習することです。
このアプローチは、明示的なボリューム レンダリングの必要性を排除するだけでなく、ターゲット イメージを独立したピクセルの集合として効果的に扱うため、有望です。
ここでは、すべてのカメラ レイに対して共同で動作するグローバル レンダリング オペレーターを学習することを提案します。
このようなレンダリングを可能にする適切な表現は、ターゲット カメラに面する一連の平面上の入力画像の投影から構成される 5 次元平面スイープ ボリュームであることを示します。
この理解に基づいて、低解像度の潜在空間でグローバルにレンダリング操作を実行する効率的な畳み込みアーキテクチャである Convolutional Global Latent Renderer (ConvGLR) を紹介します。
まばらで一般化可能な設定の下でのさまざまなデータセットの実験では、私たちのアプローチが一貫して既存の方法を大幅に上回るパフォーマンスを示しています。

要約(オリジナル)

A recent trend among generalizable novel view synthesis methods is to learn a rendering operator acting over single camera rays. This approach is promising because it removes the need for explicit volumetric rendering, but it effectively treats target images as collections of independent pixels. Here, we propose to learn a global rendering operator acting over all camera rays jointly. We show that the right representation to enable such rendering is the 5-dimensional plane sweep volume, consisting of the projection of the input images on a set of planes facing the target camera. Based on this understanding, we introduce our Convolutional Global Latent Renderer (ConvGLR), an efficient convolutional architecture that performs the rendering operation globally in a low-resolution latent space. Experiments on various datasets under sparse and generalizable setups show that our approach consistently outperforms existing methods by significant margins.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google