ArtWhisperer: A Dataset for Characterizing Human-AI Interactions in Artistic Creations

要約

生成 AI が普及するにつれて、人間のユーザーがそのようなモデルとどのように対話するかを研究することが重要になります。
この研究では、人々がテキストから画像へのモデルを使用して目的のターゲット画像を生成する方法を調査します。
このインタラクションを研究するために、私たちは ArtWhisperer を作成しました。これは、ユーザーにターゲット画像が与えられ、ターゲットと似た画像を作成するプロンプトを繰り返し見つけるという任務を負うオンライン ゲームです。
このゲームを通じて、私たちは 50,000 を超える人間と AI のインタラクションを記録しました。
各インタラクションは、ユーザーが作成した 1 つのテキスト プロンプトと、対応する生成された画像に対応します。
これらの大部分は、ユーザーがターゲット画像に最適なプロンプトを見つけるために反復的に行われる反復的なインタラクションであり、これを人間と AI のコラボレーションを研究するための独自の連続データセットにしています。
このデータセットの初期分析では、プロンプト インタラクションとユーザー戦略のいくつかの特徴を特定します。
人々はさまざまなプロンプトを送信し、同様の画像を生成するさまざまなテキストの説明を見つけることができます。
興味深いことに、ユーザーがより良いプロンプトを見つけても、プロンプトの多様性は減少しません。
さらに、データセットを使用して AI の操縦性を定量化するための新しい指標を提案します。
ステアビリティを、タスクを適切に完了するために必要なインタラクションの予想数として定義します。
この値は、ターゲット タスクごとにマルコフ連鎖をフィッティングし、マルコフ連鎖で適切なスコアに到達するまでの予想時間を計算することで推定します。
私たちは、さまざまな種類のターゲット画像と 2 つの異なるモデルにわたる AI の操縦性を定量化して比較し、都市の画像や自然界の画像の方が芸術的画像やファンタジー画像よりも操縦しやすいことを発見しました。
これらの発見は、人間と AI の相互作用に関する洞察を提供し、AI の操作性を評価する具体的な方法を提示し、ArtWhisperer データセットの一般的な有用性を実証します。

要約(オリジナル)

As generative AI becomes more prevalent, it is important to study how human users interact with such models. In this work, we investigate how people use text-to-image models to generate desired target images. To study this interaction, we created ArtWhisperer, an online game where users are given a target image and are tasked with iteratively finding a prompt that creates a similar-looking image as the target. Through this game, we recorded over 50,000 human-AI interactions; each interaction corresponds to one text prompt created by a user and the corresponding generated image. The majority of these are repeated interactions where a user iterates to find the best prompt for their target image, making this a unique sequential dataset for studying human-AI collaborations. In an initial analysis of this dataset, we identify several characteristics of prompt interactions and user strategies. People submit diverse prompts and are able to discover a variety of text descriptions that generate similar images. Interestingly, prompt diversity does not decrease as users find better prompts. We further propose a new metric to quantify the steerability of AI using our dataset. We define steerability as the expected number of interactions required to adequately complete a task. We estimate this value by fitting a Markov chain for each target task and calculating the expected time to reach an adequate score in the Markov chain. We quantify and compare AI steerability across different types of target images and two different models, finding that images of cities and natural world images are more steerable than artistic and fantasy images. These findings provide insights into human-AI interaction behavior, present a concrete method of assessing AI steerability, and demonstrate the general utility of the ArtWhisperer dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google