Natural & Adversarial Bokeh Rendering via Circle-of-Confusion Predictive Network

要約

ボケ効果は、写真の焦点が合っていない部分をぼかす自然な浅い被写界深度現象です。
近年、芸術的および審美的な目的で、一連の作品が自動的でリアルなボケのレンダリング方法を提案しています。
彼らは通常、複雑なトレーニング戦略とネットワーク アーキテクチャを備えた最先端のデータ駆動型のディープ ジェネレーティブ ネットワークを採用しています。
しかし、これらの研究では、実際の現象としてのボケ効果が、認識などの後続の視覚的知的なタスクに必然的に影響を与える可能性があること、およびそのデータ駆動型の性質により、ボケに関連する物理パラメータ（つまり、深さ）の影響を研究することができないということが無視されています。
-the-field) インテリジェントなタスクについて。
このギャップを埋めるために、私たちはまったく新しい問題、つまり自然および敵対的なボケのレンダリングを研究します。これは 2 つの目的で構成されます。現実的で自然なボケをレンダリングすることと、視覚認識モデルを欺く (つまり、ボケに基づく敵対的攻撃)。
この目的を達成するために、純粋なデータ駆動型ソリューションを超えて、データ駆動型と物理認識型のそれぞれの利点を活用したハイブリッド代替案を提案します。
具体的には、全焦点画像と深度画像を入力として取り込み、各ピクセルの錯乱円パラメータを推定することにより、錯乱円予測ネットワーク (CoCNet) を提案します。このパラメータは、最終画像のレンダリングに使用されます。
ボケのよく知られた物理モデル。
ハイブリッド ソリューションを使用すると、私たちの方法は単純なトレーニング戦略とはるかに軽量なネットワークを使用して、より現実的なレンダリング結果を達成できます。
さらに、視覚認識タスクに関する深度マップを最適化しながら CoCNet を修正することにより、敵対的ボケ攻撃を提案します。
そうすれば、現実世界の深さの変化に応じてディープ ニューラル ネットワークの脆弱性を研究できるようになります。

要約(オリジナル)

Bokeh effect is a natural shallow depth-of-field phenomenon that blurs the out-of-focus part in photography. In recent years, a series of works have proposed automatic and realistic bokeh rendering methods for artistic and aesthetic purposes. They usually employ cutting-edge data-driven deep generative networks with complex training strategies and network architectures. However, these works neglect that the bokeh effect, as a real phenomenon, can inevitably affect the subsequent visual intelligent tasks like recognition, and their data-driven nature prevents them from studying the influence of bokeh-related physical parameters (i.e., depth-of-the-field) on the intelligent tasks. To fill this gap, we study a totally new problem, i.e., natural & adversarial bokeh rendering, which consists of two objectives: rendering realistic and natural bokeh and fooling the visual perception models (i.e., bokeh-based adversarial attack). To this end, beyond the pure data-driven solution, we propose a hybrid alternative by taking the respective advantages of data-driven and physical-aware methods. Specifically, we propose the circle-of-confusion predictive network (CoCNet) by taking the all-in-focus image and depth image as inputs to estimate circle-of-confusion parameters for each pixel, which are employed to render the final image through a well-known physical model of bokeh. With the hybrid solution, our method could achieve more realistic rendering results with the naive training strategy and a much lighter network. Moreover, we propose the adversarial bokeh attack by fixing the CoCNet while optimizing the depth map w.r.t the visual perception tasks. Then, we are able to study the vulnerability of deep neural networks according to the depth variations in the real world.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google