Generating Synthetic Data via Augmentations for Improved Facial Resemblance in DreamBooth and InstantID

要約

アマチュア写真からプロのポートレートを生成するための安定した拡散のパーソナライズは、さまざまな下流のコンテキストにアプリケーションを備えた急成長エリアです。
このペーパーでは、2つの著名なパーソナライズ手法を使用する場合の顔の類似性の改善に対する増強の影響を調査します。DreamBoothとInstantid。
多様なサブジェクトデータセットを使用した一連の実験を通じて、生成されたヘッドショットの元の主題に対する忠実度に対するさまざまな増強戦略の有効性を評価しました。
フェイスネットの周りのラッパーであるFacedistanceを紹介して、顔の類似性に基づいて世代をランク付けし、それが私たちの評価を支援しました。
最終的に、この研究は、SDXL生成されたポートレートにおける顔の類似性を高める上での増強の役割に関する洞察を提供し、ダウンストリームアプリケーションでの効果的な展開のための戦略を通知します。

要約(オリジナル)

The personalization of Stable Diffusion for generating professional portraits from amateur photographs is a burgeoning area, with applications in various downstream contexts. This paper investigates the impact of augmentations on improving facial resemblance when using two prominent personalization techniques: DreamBooth and InstantID. Through a series of experiments with diverse subject datasets, we assessed the effectiveness of various augmentation strategies on the generated headshots’ fidelity to the original subject. We introduce FaceDistance, a wrapper around FaceNet, to rank the generations based on facial similarity, which aided in our assessment. Ultimately, this research provides insights into the role of augmentations in enhancing facial resemblance in SDXL-generated portraits, informing strategies for their effective deployment in downstream applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google