Data Attribution for Text-to-Image Models by Unlearning Synthesized Images

要約

テキストから画像へのモデルのデータ帰属の目的は、新しい画像の生成に最も影響を与えるトレーニング画像を特定することです。
「影響力」は、特定の出力に対して、その出力の最も影響力のある画像なしでモデルが最初から再トレーニングされた場合、モデルはその出力画像の生成に失敗するはずであると定義できます。
残念ながら、これらの影響力のある画像を直接検索することは、最初から繰り返し再学習する必要があるため、計算的に実行不可能です。
影響力の高い画像を効率的に識別する新しいアプローチを提案します。
具体的には、合成画像の学習解除をシミュレーションし、無関係な他の概念を壊滅的に忘れることなく、出力画像のトレーニング損失を増加させる方法を提案します。
次に、プロキシによって忘れられたトレーニング画像を見つけ、アンラーニングプロセス後に大きな損失偏差がある画像を特定し、これらに影響力のある画像としてラベルを付けます。
私たちは、計算量が多いものの「ゴールドスタンダード」のゼロからの再トレーニングを使用してメソッドを評価し、以前のメソッドと比較したこのメソッドの利点を実証します。

要約(オリジナル)

The goal of data attribution for text-to-image models is to identify the training images that most influence the generation of a new image. We can define ‘influence’ by saying that, for a given output, if a model is retrained from scratch without that output’s most influential images, the model should then fail to generate that output image. Unfortunately, directly searching for these influential images is computationally infeasible, since it would require repeatedly retraining from scratch. We propose a new approach that efficiently identifies highly-influential images. Specifically, we simulate unlearning the synthesized image, proposing a method to increase the training loss on the output image, without catastrophic forgetting of other, unrelated concepts. Then, we find training images that are forgotten by proxy, identifying ones with significant loss deviations after the unlearning process, and label these as influential. We evaluate our method with a computationally intensive but ‘gold-standard’ retraining from scratch and demonstrate our method’s advantages over previous methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google