PQPP: A Joint Benchmark for Text-to-Image Prompt and Query Performance Prediction

要約

テキストからイメージの生成は最近、生成的拡散モデルの視覚的に印象的な結果によって駆動される、テキストから画像の検索の実行可能な代替手段として浮上しました。
クエリパフォーマンス予測は情報検索の積極的な研究トピックですが、私たちの知る限り、人間の判断に基づいて、テキストから画像の生成におけるクエリ（プロンプトと呼ばれる）の難しさを分析する事前の研究はありません。
この目的のために、画像生成のパフォーマンスに関して手動で注釈が付けられたプロンプトの最初のデータセットを紹介します。
さらに、これらの評価は、検索パフォーマンスを表す手動注釈を収集することにより、テキストから画像への検索に拡張します。
したがって、10Kを超えるクエリで構成される、両方のタスクにわたって、プロンプトおよびクエリパフォーマンス予測（PQPP）の最初のジョイントベンチマークを確立します。
ベンチマークは、（i）画像生成と画像検索の両方でのプロンプト/クエリの難易度の比較評価、および（ii）生成と検索の両方に対処するプロンプト/クエリパフォーマンス予測子の評価を可能にします。
いくつかの生成前および検索後のパフォーマンス予測因子を評価し、将来の研究のための競争的ベースラインを提供します。
ベンチマークとコードは、https://github.com/eduard6421/pqppで公開されています。

要約(オリジナル)

Text-to-image generation has recently emerged as a viable alternative to text-to-image retrieval, driven by the visually impressive results of generative diffusion models. Although query performance prediction is an active research topic in information retrieval, to the best of our knowledge, there is no prior study that analyzes the difficulty of queries (referred to as prompts) in text-to-image generation, based on human judgments. To this end, we introduce the first dataset of prompts which are manually annotated in terms of image generation performance. Additionally, we extend these evaluations to text-to-image retrieval by collecting manual annotations that represent retrieval performance. We thus establish the first joint benchmark for prompt and query performance prediction (PQPP) across both tasks, comprising over 10K queries. Our benchmark enables (i) the comparative assessment of prompt/query difficulty in both image generation and image retrieval, and (ii) the evaluation of prompt/query performance predictors addressing both generation and retrieval. We evaluate several pre- and post-generation/retrieval performance predictors, thus providing competitive baselines for future research. Our benchmark and code are publicly available at https://github.com/Eduard6421/PQPP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google