GBSD: Generative Bokeh with Stage Diffusion

要約

ボケ効果は、写真内の焦点の合っていない領域をぼかす芸術的なテクニックであり、テキストと画像の合成の最近の発展と、スマートフォンのカメラや写真共有アプリの普及により、関心が高まっています。
ボケ効果のレンダリングに関するこれまでの研究は、古典的なコンピュータ グラフィックスまたはニューラル レンダリング技術を使用して既存の写真に同様のボケ効果を生成するポストホック画像操作に焦点を当てていましたが、深度不連続アーチファクトが発生するか、トレーニング データに存在するボケ効果の再現に限定されていました。
。
最近の拡散ベースのモデルは、芸術的なスタイルで画像を合成できますが、高次元マスクの生成や高価な微調整が必​​要になるか、全体的な画像特性に影響を及ぼします。
この論文では、ボケ味のあるフォトリアリスティックな画像を合成する初のテキストから画像への生成モデルである GBSD を紹介します。
拡散モデルで画像合成がどのように段階的に行われるかに基づいた私たちのアプローチは、潜在拡散モデルと 2 段階の調整アルゴリズムを組み合わせて、意味的に定義されたオブジェクトにボケ効果をレンダリングします。
オブジェクトに効果を集中させることができるため、このセマンティックなボケ効果は、従来のレンダリング手法よりも汎用性が高くなります。
私たちは GBSD を定量的および定性的に評価し、テキストから画像への設定と画像から画像への設定の両方に適用できる能力を実証します。

要約(オリジナル)

The bokeh effect is an artistic technique that blurs out-of-focus areas in a photograph and has gained interest due to recent developments in text-to-image synthesis and the ubiquity of smart-phone cameras and photo-sharing apps. Prior work on rendering bokeh effects have focused on post hoc image manipulation to produce similar blurring effects in existing photographs using classical computer graphics or neural rendering techniques, but have either depth discontinuity artifacts or are restricted to reproducing bokeh effects that are present in the training data. More recent diffusion based models can synthesize images with an artistic style, but either require the generation of high-dimensional masks, expensive fine-tuning, or affect global image characteristics. In this paper, we present GBSD, the first generative text-to-image model that synthesizes photorealistic images with a bokeh style. Motivated by how image synthesis occurs progressively in diffusion models, our approach combines latent diffusion models with a 2-stage conditioning algorithm to render bokeh effects on semantically defined objects. Since we can focus the effect on objects, this semantic bokeh effect is more versatile than classical rendering techniques. We evaluate GBSD both quantitatively and qualitatively and demonstrate its ability to be applied in both text-to-image and image-to-image settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google