A New Chinese Landscape Paintings Generation Model based on Stable Diffusion using DreamBooth

要約

この研究では主に、中国の山水画を生成するための安定拡散モデル (SDM) とパラメータ効率の良い微調整法を組み合わせた方法を紹介します。
このトレーニング プロセスは、LoRA と事前トレーニングされた SDM、DreamBooth と事前トレーニングされた SDM をそれぞれ組み合わせることで高速化されます。
この論文で使用されている中国の風景画インターネット データセットに関して、この研究では、DreamBooth と組み合わせた SDM が優れたパフォーマンスを示し、一般的な事前トレーニング済み SDM や LoRA ベースの微調整 SDM などの他のモデルを上回るパフォーマンスを示していることがわかりました。
DreamBooth と組み合わせた SDM は、データセットで 12.75 の FID を達成し、専門家による評価の点で他のすべてのモデルを上回っています。これは、一意の識別子、高い忠実度、高品質を考慮すると、中国の風景画の分野におけるモデルの多用途性を強調しています。
この研究は、ドメイン固有のタスク、特に風景画のドメインにおける SDM のパフォーマンスを向上させるための特殊な微調整方法の可能性を示しています。

要約(オリジナル)

This study mainly introduces a method combining the Stable Diffusion Model (SDM) and Parameter-Efficient Fine-Tuning method for generating Chinese Landscape Paintings. This training process is accelerated by combining LoRA with pre-trained SDM and DreamBooth with pre-trained SDM, respectively. On the Chinese Landscape Paintings Internet dataset used in this paper, this study finds that SDM combined with DreamBooth exhibits superior performance, outperforming other models, including the generic pre-trained SDM and LoRA-based fine-tuning SDM. The SDM combined with DreamBooth achieves a FID of 12.75 on the dataset and outperforms all other models in terms of expert evaluation, highlighting the model’s versatility in the field of Chinese Landscape Paintings given the unique identifier, high fidelity and high quality. This study illustrates the potential of specialised fine-tuning method to improve the performance of SDM on domain-specific tasks, particularly in the domain of Landscape Paintings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google