Data Attribution for Text-to-Image Models by Unlearning Synthesized Images

要約

テキストから画像へのモデルのデータ属性の目標は、新しい画像の生成に最も影響を与えるトレーニング画像を識別することです。
影響力が最も影響力のある画像なしでモデルがゼロから再登録されている場合、モデルが同じ出力を再現できないように、特定の出力に対して影響が定義されます。
残念ながら、これらの影響力のある画像を直接検索することは、ゼロからモデルを繰り返し再訓練する必要があるため、計算上は実行不可能です。
私たちの作業では、合成された画像を学習することをシミュレートすることにより、効率的なデータ属性法を提案します。
私たちは、他の無関係な概念を壊滅的に忘れることなく、出力画像のトレーニング損失を増やすことでこれを達成します。
次に、未学習プロセスの後に大きな損失逸脱を伴うトレーニング画像を特定し、これらを影響力のあるラベル付けします。
計算的に集中的ではあるが「ゴールドスタンダード」の再訓練でゼロからの方法を評価し、以前の方法よりも方法の利点を示します。

要約(オリジナル)

The goal of data attribution for text-to-image models is to identify the training images that most influence the generation of a new image. Influence is defined such that, for a given output, if a model is retrained from scratch without the most influential images, the model would fail to reproduce the same output. Unfortunately, directly searching for these influential images is computationally infeasible, since it would require repeatedly retraining models from scratch. In our work, we propose an efficient data attribution method by simulating unlearning the synthesized image. We achieve this by increasing the training loss on the output image, without catastrophic forgetting of other, unrelated concepts. We then identify training images with significant loss deviations after the unlearning process and label these as influential. We evaluate our method with a computationally intensive but ‘gold-standard’ retraining from scratch and demonstrate our method’s advantages over previous methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google