Variable Aperture Bokeh Rendering via Customized Focal Plane Guidance

要約

ボケのレンダリングは、写真撮影で最も人気のあるテクニックの 1 つです。
写真を視覚的に魅力的なものにし、ユーザーが画像の特定の領域に注意を集中するようにすることができます。
ただし、制限された光学系を備えたモバイルカメラには制約があり、大口径の高価なハイエンド DSLR レンズが必要となるため、満足のいくボケ効果を達成するには通常大きな課題が伴います。
したがって、近年、ボケ効果を模倣するために、多くのディープラーニングベースのコンピューテーショナルフォトグラフィー手法が開発されてきました。
それにもかかわらず、これらの方法のほとんどは、特定の単一絞りでのボケ効果のレンダリングに限定されていました。
正確な焦点面制御とカスタマイズされたボケ生成を提供できる、ユーザーフレンドリーなボケレンダリング方法が不足しています。
また、可変絞りでのボケの学習を潜在的に促進できる、本物の現実的なボケのデータセットも欠如しています。
これら 2 つの問題に対処するために、この論文では、効果的に制御可能なボケのレンダリング方法を提案し、可変開口ボケ データセット (VABD) を提供しました。
提案された方法では、ユーザーは焦点面をカスタマイズして、関係する被写体を正確に特定し、ボケをレンダリングするためのターゲット絞り情報を選択できます。
公開EBBでの実験結果！
ベンチマーク データセットと構築されたデータセット VABD は、カスタマイズされた焦点面と絞りプロンプトがモデルをブートストラップして現実的なボケ効果をシミュレートできることを実証しました。
提案された手法は、わずか 440 万のパラメータで競争力のある最先端のパフォーマンスを達成しました。これは、主流の計算ボケ モデルよりもはるかに軽量です。
提供されたデータセットとソース コードは、github https://github.com/MoTong-AI-studio/VABM でリリースされます。

要約(オリジナル)

Bokeh rendering is one of the most popular techniques in photography. It can make photographs visually appealing, forcing users to focus their attentions on particular area of image. However, achieving satisfactory bokeh effect usually presents significant challenge, since mobile cameras with restricted optical systems are constrained, while expensive high-end DSLR lens with large aperture should be needed. Therefore, many deep learning-based computational photography methods have been developed to mimic the bokeh effect in recent years. Nevertheless, most of these methods were limited to rendering bokeh effect in certain single aperture. There lacks user-friendly bokeh rendering method that can provide precise focal plane control and customised bokeh generation. There as well lacks authentic realistic bokeh dataset that can potentially promote bokeh learning on variable apertures. To address these two issues, in this paper, we have proposed an effective controllable bokeh rendering method, and contributed a Variable Aperture Bokeh Dataset (VABD). In the proposed method, user can customize focal plane to accurately locate concerned subjects and select target aperture information for bokeh rendering. Experimental results on public EBB! benchmark dataset and our constructed dataset VABD have demonstrated that the customized focal plane together aperture prompt can bootstrap model to simulate realistic bokeh effect. The proposed method has achieved competitive state-of-the-art performance with only 4.4M parameters, which is much lighter than mainstream computational bokeh models. The contributed dataset and source codes will be released on github https://github.com/MoTong-AI-studio/VABM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google