Adaptive Mask-based Pyramid Network for Realistic Bokeh Rendering

要約

ボケ効果は、画像の残りの部分をぼかしながらオブジェクト (または画像の任意の部分) を強調し、視覚的に快適な芸術的効果を生み出します。
モバイル デバイスのセンサーベースの制限により、機械学習 (ML) ベースのボケ レンダリングが信頼できる代替手段として注目を集めています。
このホワイト ペーパーでは、ML ベースのボケ レンダリングのいくつかの改善点に焦点を当てます。
i) 高解像度画像でのオンデバイス パフォーマンス、ii) ユーザーが編集可能なマスクでボケ生成をガイドする機能、iii) さまざまなぼかし強度を生成する機能。
この目的のために、Mask-Guided Bokeh Generator (MGBG) ブロックと Laplacian Pyramid Refinement (LPR) ブロックで構成される Adaptive Mask-based Pyramid Network (AMPN) を提案します。
MGBG は、ボケ効果を生成するために互いに積み重ねられた 2 つの軽量ネットワークで構成され、LPR は MGBG の出力を調整してアップサンプリングし、高解像度のボケ画像を生成します。
i) 軽量でモバイルに適した設計の選択、ii) MGBG のスタック ネットワーク設計と弱教師付きマスク予測スキーム、および iii) ボケをガイドするマスクの強度値の手動または自動編集によって達成します。
世代。
これらの機能に加えて、私たちの結果は、AMPN が EBB の既存の方法と比較して競争力のある、またはより良い結果を生み出すことを示しています!
代わりに、より高速で小さいデータセットを提供します。

要約(オリジナル)

Bokeh effect highlights an object (or any part of the image) while blurring the rest of the image, and creates a visually pleasant artistic effect. Due to the sensor-based limitations on mobile devices, machine learning (ML) based bokeh rendering has gained attention as a reliable alternative. In this paper, we focus on several improvements in ML-based bokeh rendering; i) on-device performance with high-resolution images, ii) ability to guide bokeh generation with user-editable masks and iii) ability to produce varying blur strength. To this end, we propose Adaptive Mask-based Pyramid Network (AMPN), which is formed of a Mask-Guided Bokeh Generator (MGBG) block and a Laplacian Pyramid Refinement (LPR) block. MGBG consists of two lightweight networks stacked to each other to generate the bokeh effect, and LPR refines and upsamples the output of MGBG to produce the high-resolution bokeh image. We achieve i) via our lightweight, mobile-friendly design choices, ii) via the stacked-network design of MGBG and the weakly-supervised mask prediction scheme and iii) via manually or automatically editing the intensity values of the mask that guide the bokeh generation. In addition to these features, our results show that AMPN produces competitive or better results compared to existing methods on the EBB! dataset, while being faster and smaller than the alternatives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google