Defocus to focus: Photo-realistic bokeh rendering by fusing defocus and radiance priors

要約

単一の焦点の合った画像からリアルなボケをレンダリングする問題を検討します。
ボケのレンダリングは、プロの写真における審美的な浅い被写界深度 (DoF) を模倣していますが、既存の方法で生成されるこれらの視覚効果には、単純な平坦な背景のぼかしや焦点の合った領域のぼやけが発生し、非現実的なレンダリング結果が生じます。
この研究では、リアルなボケのレンダリングでは、(i) 深度関係をモデル化して焦点の合った領域を区別し、(ii) 鮮明な焦点の合った領域を維持し、(iii) 物理的に正確な錯乱円 (CoC) をレンダリングする必要があると主張します。
この目的を達成するために、デフォーカス プリアを全焦点画像と融合し、レイヤード フュージョンで放射輝度プリアを実装することにより、現実的なボケのレンダリングを学習するための Defocus to Focus (D2F) フレームワークを紹介します。
深度マップが提供されていないため、焦点をぼかす幻覚を導入して、焦点を合わせる方法を学習することで深度を統合します。
予測されたデフォーカス マップはボケのブラー量を暗示し、重み付けされたレイヤー化レンダリングのガイドに使用されます。
レイヤード レンダリングでは、デフォーカス マップに基づいて、さまざまなカーネルによってぼかされた画像を融合します。
ボケのリアリティを高めるために、シーンの放射輝度をシミュレートする放射輝度仮想化を採用しています。
重み付けされたレイヤー化レンダリングで使用されるシーンの放射輝度は、ソフト ディスク カーネルで重みを再割り当てして CoC を生成します。
焦点の合った領域の鮮明さを確保するために、アップサンプリングされたボケ画像と元の画像を融合することを提案します。
デフォーカス マップから初期のフュージョン マスクを予測し、ディープ ネットワークを使用してマスクを改良します。
大規模なボケ データセットでモデルを評価します。
広範な実験により、私たちのアプローチが複雑なシーンでも視覚的に心地よいボケ効果をレンダリングできることが示されました。
特に、当社のソリューションは、AIM 2020 Rendering Realistic Bokeh Challenge で準グランプリを受賞しました。

要約(オリジナル)

We consider the problem of realistic bokeh rendering from a single all-in-focus image. Bokeh rendering mimics aesthetic shallow depth-of-field (DoF) in professional photography, but these visual effects generated by existing methods suffer from simple flat background blur and blurred in-focus regions, giving rise to unrealistic rendered results. In this work, we argue that realistic bokeh rendering should (i) model depth relations and distinguish in-focus regions, (ii) sustain sharp in-focus regions, and (iii) render physically accurate Circle of Confusion (CoC). To this end, we present a Defocus to Focus (D2F) framework to learn realistic bokeh rendering by fusing defocus priors with the all-in-focus image and by implementing radiance priors in layered fusion. Since no depth map is provided, we introduce defocus hallucination to integrate depth by learning to focus. The predicted defocus map implies the blur amount of bokeh and is used to guide weighted layered rendering. In layered rendering, we fuse images blurred by different kernels based on the defocus map. To increase the reality of the bokeh, we adopt radiance virtualization to simulate scene radiance. The scene radiance used in weighted layered rendering reassigns weights in the soft disk kernel to produce the CoC. To ensure the sharpness of in-focus regions, we propose to fuse upsampled bokeh images and original images. We predict the initial fusion mask from our defocus map and refine the mask with a deep network. We evaluate our model on a large-scale bokeh dataset. Extensive experiments show that our approach is capable of rendering visually pleasing bokeh effects in complex scenes. In particular, our solution receives the runner-up award in the AIM 2020 Rendering Realistic Bokeh Challenge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google