Time-of-Day Neural Style Transfer for Architectural Photographs

要約

建築写真は、建物や構造物を前景に、ドラマチックな照明を背景に捉えることに焦点を当てた写真のジャンルです。
最近の画像から画像への変換手法の成功に触発されて、建築写真のスタイル変換を行うことを目指しています。
しかし、建築写真の特殊な構図は、このタイプの写真でのスタイルの伝達に大きな課題をもたらします。
既存のニューラル スタイル転送方法では、建築画像を 1 つのエンティティとして扱います。これにより、クロミナンスの不一致が生成され、元の建築の幾何学的特徴が破壊され、非現実的な照明、間違った色の表現、およびゴースト、外観の歪み、色の不一致などの視覚的アーティファクトが生じます。
この論文では、建築写真のためのニューラルスタイル転送方法を専門としています。
私たちの方法は、前景と背景のスタイル転送をそれぞれ個別に考慮する 2 分岐ニューラル ネットワークで、建築写真の前景と背景の構成に対処します。
私たちの方法は、セグメンテーションモジュール、学習ベースの画像から画像への変換モジュール、および画像ブレンディング最適化モジュールで構成されています。
画像から画像への変換ニューラル ネットワークを、1 日のさまざまな魔法の時間に撮影された制約のない屋外建築写真の新しいデータセットでトレーニングし、追加のセマンティック情報を利用して、クロミナンス マッチングとジオメトリ保存を向上させました。
私たちの実験は、私たちの方法が前景と背景の両方で写真のようにリアルな照明と演色を生成でき、一般的な画像から画像への変換と任意のスタイル転送ベースラインよりも定量的および定性的に優れていることを示しています。
私たちのコードとデータは、https://github.com/hkust-vgd/architectural_style_transfer で入手できます。

要約(オリジナル)

Architectural photography is a genre of photography that focuses on capturing a building or structure in the foreground with dramatic lighting in the background. Inspired by recent successes in image-to-image translation methods, we aim to perform style transfer for architectural photographs. However, the special composition in architectural photography poses great challenges for style transfer in this type of photographs. Existing neural style transfer methods treat the architectural images as a single entity, which would generate mismatched chrominance and destroy geometric features of the original architecture, yielding unrealistic lighting, wrong color rendition, and visual artifacts such as ghosting, appearance distortion, or color mismatching. In this paper, we specialize a neural style transfer method for architectural photography. Our method addresses the composition of the foreground and background in an architectural photograph in a two-branch neural network that separately considers the style transfer of the foreground and the background, respectively. Our method comprises a segmentation module, a learning-based image-to-image translation module, and an image blending optimization module. We trained our image-to-image translation neural network with a new dataset of unconstrained outdoor architectural photographs captured at different magic times of a day, utilizing additional semantic information for better chrominance matching and geometry preservation. Our experiments show that our method can produce photorealistic lighting and color rendition on both the foreground and background, and outperforms general image-to-image translation and arbitrary style transfer baselines quantitatively and qualitatively. Our code and data are available at https://github.com/hkust-vgd/architectural_style_transfer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google