ComfyGI: Automatic Improvement of Image Generation Workflows

要約

自動画像生成は、もはや研究者だけでなく実務家にとっても興味深いものとなっています。
ただし、現在のモデルは使用される設定に敏感であり、自動最適化方法には人間の関与が必要になることがよくあります。
このギャップを埋めるために、遺伝子改良による技術によって人間の介入を必要とせずに、画像生成のワークフローを自動的に改善する新しいアプローチである ComfyGI を紹介します。
これにより、指定された説明と認識された美感との整合性の点で、大幅に高品質の画像生成が可能になります。
パフォーマンス面では、最適化されたワークフローで生成された画像は、ImageReward スコアの中央値の点で、初期のワークフローと比較して全体的に約 50% 向上していることがわかりました。
これらのすでに良好な結果は、人間による評価でもさらに上回っており、参加者は約 90% のケースで ComfyGI によって改善された画像を好んでいました。

要約(オリジナル)

Automatic image generation is no longer just of interest to researchers, but also to practitioners. However, current models are sensitive to the settings used and automatic optimization methods often require human involvement. To bridge this gap, we introduce ComfyGI, a novel approach to automatically improve workflows for image generation without the need for human intervention driven by techniques from genetic improvement. This enables image generation with significantly higher quality in terms of the alignment with the given description and the perceived aesthetics. On the performance side, we find that overall, the images generated with an optimized workflow are about 50% better compared to the initial workflow in terms of the median ImageReward score. These already good results are even surpassed in our human evaluation, as the participants preferred the images improved by ComfyGI in around 90% of the cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google