Bokeh Rendering Based on Adaptive Depth Calibration Network

要約

ボケ レンダリングは、美的に魅力的な効果を作成するために写真で使用される一般的で効果的な手法です。
背景をぼかし、前景の被写体を強調するために広く使用されているため、画像の主な焦点に視聴者の注意を引き付けます。
従来のデジタル一眼レフ カメラ (DSLR) では、この効果は大口径レンズの使用によって実現されます。
これにより、カメラは被写界深度が浅い画像をキャプチャできます。この画像では、画像の小さな領域のみが鮮明に焦点を合わせており、画像の残りの部分はぼやけています。
ただし、携帯電話に組み込まれているハードウェアは通常、DSLR に見られるものよりもはるかに小さく、制限されています。
その結果、携帯電話は自然な被写界深度の浅い写真を撮影することができず、これが携帯写真の大きな制限となる可能性があります。
この課題に対処するために、このホワイト ペーパーでは、最近の強力なディープ ラーニング アーキテクチャである Vision Transformer を使用したボケ レンダリングの新しい方法を提案します。
私たちのアプローチは、単眼深度推定のエラーを補正するための信頼レベルとして機能する適応深度キャリブレーション ネットワークを採用しています。
このネットワークは、深度情報とともにレンダリング プロセスを監視するために使用され、高解像度で高品質のボケ画像を生成できます。
私たちの実験は、提案された方法が最先端の方法よりも優れており、LPIPS で約 24.7% の改善を達成し、より高い PSNR スコアを取得することを示しています。

要約(オリジナル)

Bokeh rendering is a popular and effective technique used in photography to create an aesthetically pleasing effect. It is widely used to blur the background and highlight the subject in the foreground, thereby drawing the viewer’s attention to the main focus of the image. In traditional digital single-lens reflex cameras (DSLRs), this effect is achieved through the use of a large aperture lens. This allows the camera to capture images with shallow depth-of-field, in which only a small area of the image is in sharp focus, while the rest of the image is blurred. However, the hardware embedded in mobile phones is typically much smaller and more limited than that found in DSLRs. Consequently, mobile phones are not able to capture natural shallow depth-of-field photos, which can be a significant limitation for mobile photography. To address this challenge, in this paper, we propose a novel method for bokeh rendering using the Vision Transformer, a recent and powerful deep learning architecture. Our approach employs an adaptive depth calibration network that acts as a confidence level to compensate for errors in monocular depth estimation. This network is used to supervise the rendering process in conjunction with depth information, allowing for the generation of high-quality bokeh images at high resolutions. Our experiments demonstrate that our proposed method outperforms state-of-the-art methods, achieving about 24.7% improvements on LPIPS and obtaining higher PSNR scores.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google