Evaluating Data Attribution for Text-to-Image Models

要約

大規模なテキストから画像へのモデルは「新しい」画像を合成できますが、これらの画像は必然的にトレーニング データを反映したものになります。
このようなモデルにおけるデータの帰属の問題、つまり、トレーニング セット内のどの画像が、特定の生成画像の外観に最も関与しているかという問題は、難しいものの重要な問題です。
この問題への最初のステップとして、既存の大規模モデルを特定の見本オブジェクトまたはスタイルに合わせて調整する「カスタマイズ」メソッドを通じてアトリビューションを評価します。
私たちの重要な洞察は、これにより、構築による見本によって計算上の影響を受ける合成画像を効率的に作成できるということです。
このような見本に影響された画像の新しいデータセットを使用すると、さまざまなデータ帰属アルゴリズムとさまざまな可能な特徴空間を評価できます。
さらに、データセットでトレーニングすることにより、DINO、CLIP、ViT などの標準モデルをアトリビューション問題に向けて調整できます。
この手順は小さな見本セットに合わせて調整されていますが、より大きなセットへの一般化を示します。
最後に、問題に固有の不確実性を考慮することで、一連のトレーニング画像に対してソフト アトリビューション スコアを割り当てることができます。

要約(オリジナル)

While large text-to-image models are able to synthesize ‘novel’ images, these images are necessarily a reflection of the training data. The problem of data attribution in such models — which of the images in the training set are most responsible for the appearance of a given generated image — is a difficult yet important one. As an initial step toward this problem, we evaluate attribution through ‘customization’ methods, which tune an existing large-scale model toward a given exemplar object or style. Our key insight is that this allows us to efficiently create synthetic images that are computationally influenced by the exemplar by construction. With our new dataset of such exemplar-influenced images, we are able to evaluate various data attribution algorithms and different possible feature spaces. Furthermore, by training on our dataset, we can tune standard models, such as DINO, CLIP, and ViT, toward the attribution problem. Even though the procedure is tuned towards small exemplar sets, we show generalization to larger sets. Finally, by taking into account the inherent uncertainty of the problem, we can assign soft attribution scores over a set of training images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google