Diffusion-based Light Field Synthesis

要約

ライト フィールド (LF) は、角度次元にわたって記録される包括的なシーンの放射輝度に役立ち、3D 再構成、仮想現実、およびコンピュテーショナル写真撮影に幅広い用途が見出されます。ただし、主流の取得戦略により、LF の取得には必然的に時間とリソースが大量にかかります。
このような課題を考慮して、入力として 1 つの RGB 画像のみを採用する、LF 合成用に調整された簡単で効果的な拡散ベースの生成フレームワークである LFdiff を紹介します。LFdiff は、単眼の奥行き推定によって推定された視差を利用します。
ネットワークを構築し、新しい条件スキームと LF データに合わせたノイズ推定ネットワークという 2 つの特徴的なコンポーネントを組み込みます。特に、位置を意識したワーピング条件スキームを設計し、ロバストな条件付き信号を介してビュー間のジオメトリ学習を強化します。次に、DistgUnet を提案します。
包括的な LF 表現を活用するための、もつれ解除ベースのノイズ推定ネットワークです。広範な実験により、LFdiff が、強化された汎化機能を備えた、視覚的に快適で視差制御可能なライト フィールドの合成に優れていることが実証されています。さらに、包括的な結果により、生成された LF データの広範な適用可能性が確認されています。
LF超解像やリフォーカスなどのアプリケーション。

要約(オリジナル)

Light fields (LFs), conducive to comprehensive scene radiance recorded across angular dimensions, find wide applications in 3D reconstruction, virtual reality, and computational photography.However, the LF acquisition is inevitably time-consuming and resource-intensive due to the mainstream acquisition strategy involving manual capture or laborious software synthesis.Given such a challenge, we introduce LFdiff, a straightforward yet effective diffusion-based generative framework tailored for LF synthesis, which adopts only a single RGB image as input.LFdiff leverages disparity estimated by a monocular depth estimation network and incorporates two distinctive components: a novel condition scheme and a noise estimation network tailored for LF data.Specifically, we design a position-aware warping condition scheme, enhancing inter-view geometry learning via a robust conditional signal.We then propose DistgUnet, a disentanglement-based noise estimation network, to harness comprehensive LF representations.Extensive experiments demonstrate that LFdiff excels in synthesizing visually pleasing and disparity-controllable light fields with enhanced generalization capability.Additionally, comprehensive results affirm the broad applicability of the generated LF data, spanning applications like LF super-resolution and refocusing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google