Pick-a-Pic: An Open Dataset of User Preferences for Text-to-Image Generation

要約

【タイトル】Pick-a-Pic：テキストからイメージ生成のためのユーザーの好みに関するオープンデータセット

【要約】

– テキストからイメージを生成するユーザーの好みの大規模なデータセットを収集することは、通常企業に限定されているため、一般公開されていない。
– この問題に対処するため、テキストからイメージを生成するユーザーが画像を生成し、好みを指定できるウェブアプリを作成した。
– このウェブアプリを使用して、テキストからイメージを生成するときのプロンプトと、実際のユーザーが生成された画像に対する好みを含む大規模でオープンなデータセットであるPick-a-Picを構築した。
– Pick-a-Picのデータセットを利用してCLIPベースのスコアリング関数、PickScoreをトレーニングし、人間の好みを予測するタスクで超人的な性能を発揮することができた。
– 次のテキストから画像生成モデルの評価にはPickScoreが使用されることを推奨し、MS-COCOよりも関連性の高いデータセットであるPick-a-Picのプロンプトを使用することを推奨した。
– 最後に、RankingによってPickScoreが既存のテキストから画像生成モデルを強化する方法を示した。

要約(オリジナル)

The ability to collect a large dataset of human preferences from text-to-image users is usually limited to companies, making such datasets inaccessible to the public. To address this issue, we create a web app that enables text-to-image users to generate images and specify their preferences. Using this web app we build Pick-a-Pic, a large, open dataset of text-to-image prompts and real users’ preferences over generated images. We leverage this dataset to train a CLIP-based scoring function, PickScore, which exhibits superhuman performance on the task of predicting human preferences. Then, we test PickScore’s ability to perform model evaluation and observe that it correlates better with human rankings than other automatic evaluation metrics. Therefore, we recommend using PickScore for evaluating future text-to-image generation models, and using Pick-a-Pic prompts as a more relevant dataset than MS-COCO. Finally, we demonstrate how PickScore can enhance existing text-to-image models via ranking.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI