Illumination and Shadows in Head Rotation: experiments with Denoising Diffusion Models

要約

頭の回転中の照明と影の影響を正確にモデル化することは、画像のリアリズムを強化し、アーティファクトを減らすためのコンピュータービジョンで重要です。
この研究では、拡散モデルを除去する潜在的な空間を掘り下げて、さまざまな照明条件下で連続的な頭部回転を表現できる説得力のある軌跡を特定します。
私たちの作品の重要な貢献は、celebaデータセットからの追加のラベルの生成であり、左、中央、右の一般的な照明方向に基づいて、画像を3つのグループに分類します。
これらのラベルは、私たちのアプローチで重要な役割を果たし、より正確な操作を可能にし、照明のバリエーションの取り扱いを改善します。
拡散暗黙モデル（DDIM）を除去するための最近の埋め込み手法を活用すると、我々の方法は注目に値する操作を実現し、$ \ PM 30 $の幅の広い回転角を含み、困難な照明条件下でも個々の異なる特性を保存します。
私たちの方法論には、線形回帰を介して異なるヨー回転でデータセットサンプルの潜在的な表現の雲を近似する軌跡を計算することが含まれます。
特定の軌道は、光方向を含むソース画像と重要な属性を共有するデータのサブセットを分析することによって取得されます。
特に、私たちのアプローチでは、回転タスクの生成モデルの特定のトレーニングは必要ありません。
事前に訓練された顔生成モデルの潜在空間で特定の軌跡を計算して追跡するだけです。
この記事では、顕著な例の定性的な議論を通じて、私たちのアプローチの可能性とその現在の制限を紹介しています。
この研究は、生成モデルの潜在空間の表現学習とセマンティック調査の進行中の進歩に貢献しています。

要約(オリジナル)

Accurately modeling the effects of illumination and shadows during head rotation is critical in computer vision for enhancing image realism and reducing artifacts. This study delves into the latent space of denoising diffusion models to identify compelling trajectories that can express continuous head rotation under varying lighting conditions. A key contribution of our work is the generation of additional labels from the CelebA dataset,categorizing images into three groups based on prevalent illumination direction: left, center, and right. These labels play a crucial role in our approach, enabling more precise manipulations and improved handling of lighting variations. Leveraging a recent embedding technique for Denoising Diffusion Implicit Models (DDIM), our method achieves noteworthy manipulations, encompassing a wide rotation angle of $\pm 30$ degrees, while preserving individual distinct characteristics even under challenging illumination conditions. Our methodology involves computing trajectories that approximate clouds of latent representations of dataset samples with different yaw rotations through linear regression. Specific trajectories are obtained by analyzing subsets of data that share significant attributes with the source image, including light direction. Notably, our approach does not require any specific training of the generative model for the task of rotation; we merely compute and follow specific trajectories in the latent space of a pre-trained face generation model. This article showcases the potential of our approach and its current limitations through a qualitative discussion of notable examples. This study contributes to the ongoing advancements in representation learning and the semantic investigation of the latent space of generative models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google