Social Reward: Evaluating and Enhancing Generative AI through Million-User Feedback from an Online Creative Community

要約

コミュニティの認知の一形態としての社会的報酬は、オンライン プラットフォームのユーザーがコンテンツに参加し、コンテンツに貢献する強力な動機付けとなります。
テキスト条件付き画像合成の最近の進歩により、AI がユーザーにコミュニティの検証を求めるオリジナルのビジュアル アートワークを作成できるようにする共同作業の時代が到来しました。
それにもかかわらず、コミュニティの集合的な選好という文脈でこれらのモデルを評価すると、明確な課題が生じます。
既存の評価方法は主に、画質と迅速な調整に基づいた限られたサイズのユーザー調査を中心としています。
この取り組みはパラダイム シフトの先駆けとなり、生成された画像のクリエイティブな編集に従事するソーシャル ネットワーク ユーザーからの暗黙のフィードバックを活用する革新的な報酬モデリング フレームワークであるソーシャル リワードを明らかにします。
私たちは、オンライン ビジュアル作成および編集プラットフォームである Picsart を活用して、データセットのキュレーションと洗練の広範な旅に乗り出し、Picsart Image-Social という名前のユーザー生成ビジュアル アートに対する暗黙的な人間の好みを示す最初の 100 万ユーザー規模のデータセットを生成しました。
私たちの分析は、テキストから画像へのモデルの出力に対するコミュニティのクリエイティブな好みをモデリングする際の現在の指標の欠点を明らかにし、これらの制限に対処するために明示的に調整された新しい予測モデルを導入する必要に迫られています。
厳密な定量的実験とユーザー調査により、当社のソーシャル報酬モデルは既存の指標よりも社会的人気とよりよく一致していることが示されています。
さらに、ソーシャルリワードを利用してテキストから画像へのモデルを微調整し、ソーシャルリワードだけでなく他の確立された指標によってもより好まれる画像を生成します。
これらの調査結果は、AI が生成したアートワークに対するコミュニティの評価を評価する際のソーシャル リワードの関連性と有効性を浮き彫りにし、人気のあるビジュアル アートの作成というユーザーのクリエイティブな目標との緊密な連携を確立します。
コードは https://github.com/Picsart-AI-Research/Social-Reward からアクセスできます。

要約(オリジナル)

Social reward as a form of community recognition provides a strong source of motivation for users of online platforms to engage and contribute with content. The recent progress of text-conditioned image synthesis has ushered in a collaborative era where AI empowers users to craft original visual artworks seeking community validation. Nevertheless, assessing these models in the context of collective community preference introduces distinct challenges. Existing evaluation methods predominantly center on limited size user studies guided by image quality and prompt alignment. This work pioneers a paradigm shift, unveiling Social Reward – an innovative reward modeling framework that leverages implicit feedback from social network users engaged in creative editing of generated images. We embark on an extensive journey of dataset curation and refinement, drawing from Picsart: an online visual creation and editing platform, yielding a first million-user-scale dataset of implicit human preferences for user-generated visual art named Picsart Image-Social. Our analysis exposes the shortcomings of current metrics in modeling community creative preference of text-to-image models’ outputs, compelling us to introduce a novel predictive model explicitly tailored to address these limitations. Rigorous quantitative experiments and user study show that our Social Reward model aligns better with social popularity than existing metrics. Furthermore, we utilize Social Reward to fine-tune text-to-image models, yielding images that are more favored by not only Social Reward, but also other established metrics. These findings highlight the relevance and effectiveness of Social Reward in assessing community appreciation for AI-generated artworks, establishing a closer alignment with users’ creative goals: creating popular visual art. Codes can be accessed at https://github.com/Picsart-AI-Research/Social-Reward

arxiv情報

提供元, 利用サービス

arxiv.jp, Google