HyperDreamBooth: HyperNetworks for Fast Personalization of Text-to-Image Models

要約

パーソナライゼーションは、生成 AI の分野で顕著な側面として浮上しており、アイデンティティの高い忠実度を維持しながら、多様なコンテキストやスタイルで個人を統合できるようになります。
ただし、パーソナライゼーションのプロセスには、時間とメモリ要件の点で固有の課題が伴います。
各パーソナライズされたモデルを微調整するには、かなりの GPU 時間の投資が必要であり、被験者ごとにパーソナライズされたモデルを保存すると、ストレージ容量の点で負荷がかかる可能性があります。
これらの課題を克服するために、私たちは HyperDreamBooth を提案します。これは、人物の 1 つの画像からパーソナライズされた重みの小さなセットを効率的に生成できるハイパーネットワークです。
これらの重みを拡散モデルに合成し、高速微調整を組み合わせることで、HyperDreamBooth は、さまざまなスタイルやセマンティック変更に関するモデルの重要な知識を維持しながら、被写体の詳細を詳細に示した、さまざまなコンテキストやスタイルで人物の顔を生成できます。
私たちの方法では、わずか 1 枚の参照画像を使用して、DreamBooth と同じ品質とスタイルの多様性を備えながら、DreamBooth より 25 倍、テキスト反転より 125 倍速く、約 20 秒で顔のパーソナライゼーションを実現します。
また、私たちの方法では、通常の DreamBooth モデルよりも 10,000 倍小さいモデルが得られます。
プロジェクトページ：https://hyperdreambooth.github.io

要約(オリジナル)

Personalization has emerged as a prominent aspect within the field of generative AI, enabling the synthesis of individuals in diverse contexts and styles, while retaining high-fidelity to their identities. However, the process of personalization presents inherent challenges in terms of time and memory requirements. Fine-tuning each personalized model needs considerable GPU time investment, and storing a personalized model per subject can be demanding in terms of storage capacity. To overcome these challenges, we propose HyperDreamBooth-a hypernetwork capable of efficiently generating a small set of personalized weights from a single image of a person. By composing these weights into the diffusion model, coupled with fast finetuning, HyperDreamBooth can generate a person’s face in various contexts and styles, with high subject details while also preserving the model’s crucial knowledge of diverse styles and semantic modifications. Our method achieves personalization on faces in roughly 20 seconds, 25x faster than DreamBooth and 125x faster than Textual Inversion, using as few as one reference image, with the same quality and style diversity as DreamBooth. Also our method yields a model that is 10000x smaller than a normal DreamBooth model. Project page: https://hyperdreambooth.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google