Influence Functions for Scalable Data Attribution in Diffusion Models

要約

拡散モデルは生成モデリングに大きな進歩をもたらしました。
しかし、それらが広く採用されると、データの帰属と解釈可能性に関して課題が生じます。
この論文では、\textit{影響関数} フレームワークを開発することで、拡散モデルにおけるこのような課題への対処を支援することを目的としています。
影響関数ベースのデータ帰属手法は、一部のトレーニング データが削除された場合にモデルの出力がどのように変化するかを近似します。
教師あり学習では、これは通常、特定の例の損失がどのように変化するかを予測するために使用されます。
拡散モデルの場合、いくつかの代理測定を通じて特定の例を生成する確率の変化を予測することに重点を置きます。
このような量に対する影響関数を定式化する方法と、以前に提案された方法がフレームワーク内の特定の設計選択肢としてどのように解釈できるかを示します。
影響関数におけるヘシアン計算のスケーラビリティを確保するために、特に拡散モデルに合わせた一般化ガウスニュートン行列に基づいた K-FAC 近似を体系的に開発します。
以前に提案された手法をフレームワークの具体的な設計選択肢として再構築し、推奨される手法が、線形データモデリング スコア (LDS) や上位影響なしの再トレーニングなどの一般的な評価において、手法を必要とせずに以前のデータ アトリビューション アプローチよりも優れていることを示します。
特定のハイパーパラメータ調整。

要約(オリジナル)

Diffusion models have led to significant advancements in generative modelling. Yet their widespread adoption poses challenges regarding data attribution and interpretability. In this paper, we aim to help address such challenges in diffusion models by developing an \textit{influence functions} framework. Influence function-based data attribution methods approximate how a model’s output would have changed if some training data were removed. In supervised learning, this is usually used for predicting how the loss on a particular example would change. For diffusion models, we focus on predicting the change in the probability of generating a particular example via several proxy measurements. We show how to formulate influence functions for such quantities and how previously proposed methods can be interpreted as particular design choices in our framework. To ensure scalability of the Hessian computations in influence functions, we systematically develop K-FAC approximations based on generalised Gauss-Newton matrices specifically tailored to diffusion models. We recast previously proposed methods as specific design choices in our framework and show that our recommended method outperforms previous data attribution approaches on common evaluations, such as the Linear Data-modelling Score (LDS) or retraining without top influences, without the need for method-specific hyperparameter tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google