Data Attribution for Text-to-Image Models by Unlearning Synthesized Images

要約

テキストから画像へのモデルのデータ帰属の目的は、新しい画像の生成に最も影響を与えるトレーニング画像を特定することです。
影響力は、特定の出力に対して、最も影響力のある画像を使用せずにモデルが最初から再トレーニングされた場合、モデルは同じ出力を再現できないように定義されます。
残念ながら、これらの影響力のある画像を直接検索することは、モデルを最初から繰り返し再トレーニングする必要があるため、計算的に実行不可能です。
私たちの研究では、合成画像の非学習をシミュレートすることにより、効率的なデータ帰属手法を提案します。
これは、他の無関係な概念を壊滅的に忘れることなく、出力画像のトレーニング損失を増やすことで実現します。
次に、非学習プロセス後に損失偏差が大きいトレーニング画像を特定し、これらに影響があるとラベル付けします。
私たちは、計算量が多いものの「ゴールドスタンダード」のゼロからの再トレーニングでメソッドを評価し、以前のメソッドと比較したこのメソッドの利点を実証します。

要約(オリジナル)

The goal of data attribution for text-to-image models is to identify the training images that most influence the generation of a new image. Influence is defined such that, for a given output, if a model is retrained from scratch without the most influential images, the model would fail to reproduce the same output. Unfortunately, directly searching for these influential images is computationally infeasible, since it would require repeatedly retraining models from scratch. In our work, we propose an efficient data attribution method by simulating unlearning the synthesized image. We achieve this by increasing the training loss on the output image, without catastrophic forgetting of other, unrelated concepts. We then identify training images with significant loss deviations after the unlearning process and label these as influential. We evaluate our method with a computationally intensive but ‘gold-standard’ retraining from scratch and demonstrate our method’s advantages over previous methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google