ViPer: Visual Personalization of Generative Models via Individual Preference Learning

要約

異なるユーザーは、同じプロンプトに対して生成された異なる画像が望ましいと感じます。
これにより、個人の視覚的好みに合わせた画像を作成する、パーソナライズされた画像生成が可能になります。
ただし、現在の生成モデルは、幅広い視聴者にアピールする出力を生成するように調整されているため、パーソナライズされていません。
これらを使用して個々のユーザーに合わせた画像を生成するには、ユーザーによる反復的な手動プロンプト エンジニアリングに依存する必要があり、非効率的で望ましくないものです。
私たちは、画像生成プロセスをパーソナライズすることを提案します。まず、ユーザーに少数の画像についてコメントを求め、それぞれが好きか嫌いかの理由を説明することで、1 回限りのプロセスでユーザーの一般的な好みを把握します。
これらのコメントに基づいて、大規模な言語モデルを使用して、ユーザーの構造化された好き嫌いの視覚的属性、つまり視覚的な好みを推測します。
これらの属性は、個々のユーザーの視覚的な好みに合わせて調整された画像を生成するようにテキストから画像へのモデルをガイドするために使用されます。
一連のユーザー調査と大規模な言語モデルに基づく評価を通じて、提案された方法が個々のユーザーの視覚的好みによく一致した世代をもたらすことを実証しました。

要約(オリジナル)

Different users find different images generated for the same prompt desirable. This gives rise to personalized image generation which involves creating images aligned with an individual’s visual preference. Current generative models are, however, unpersonalized, as they are tuned to produce outputs that appeal to a broad audience. Using them to generate images aligned with individual users relies on iterative manual prompt engineering by the user which is inefficient and undesirable. We propose to personalize the image generation process by first capturing the generic preferences of the user in a one-time process by inviting them to comment on a small selection of images, explaining why they like or dislike each. Based on these comments, we infer a user’s structured liked and disliked visual attributes, i.e., their visual preference, using a large language model. These attributes are used to guide a text-to-image model toward producing images that are tuned towards the individual user’s visual preference. Through a series of user studies and large language model guided evaluations, we demonstrate that the proposed method results in generations that are well aligned with individual users’ visual preferences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google