TRAK: Attributing Model Behavior at Scale

要約

タイトル：TRAK：スケールでモデルの挙動をアトリビュートすること
要約：
– データのアトリビューションの目的は、モデルの予測をトレーニングデータに追跡することです。
– この目標に向けての長期間の研究のラインがあるにもかかわらず、既存のデータのアトリビューションに対するアプローチは、使用者に計算的な追跡可能性と有効性の両方から選択することを余儀なくさせる傾向があります。
– つまり、計算的に追跡可能な方法は非凸な設定（例えば、ディープニューラルネットワークのコンテキストで）でモデルの予測を正確にアトリビュートするのに苦労することがあり、そのような領域で効果的な方法は数千のモデルのトレーニングを必要とするため、大きなモデルやデータセットには実用的ではありません。
– 本文では、TRAK（ランダムにプロジェクトされたカーネルの後に追跡する）という、大規模な微分可能なモデルに対して効果的で計算的に追跡可能なデータのアトリビュート方法を紹介します。
– 特に、ごく少数のトレーニングされたモデルを活用することで、TRAKは数千のモデルのトレーニングを必要とするアトリビューション方法と同等の性能を発揮することができます。
– TRAKの有用性を、ImageNetでトレーニングされた画像分類器、ビジョン言語モデル（CLIP）、言語モデル（BERTおよびmT5）など、各種のモダリティとスケールでデモンストレーションします。
– TRAKの使用方法（および当社の作業の再現）について、https://github.com/MadryLab/trakでコードを提供します。

要約(オリジナル)

The goal of data attribution is to trace model predictions back to training data. Despite a long line of work towards this goal, existing approaches to data attribution tend to force users to choose between computational tractability and efficacy. That is, computationally tractable methods can struggle with accurately attributing model predictions in non-convex settings (e.g., in the context of deep neural networks), while methods that are effective in such regimes require training thousands of models, which makes them impractical for large models or datasets. In this work, we introduce TRAK (Tracing with the Randomly-projected After Kernel), a data attribution method that is both effective and computationally tractable for large-scale, differentiable models. In particular, by leveraging only a handful of trained models, TRAK can match the performance of attribution methods that require training thousands of models. We demonstrate the utility of TRAK across various modalities and scales: image classifiers trained on ImageNet, vision-language models (CLIP), and language models (BERT and mT5). We provide code for using TRAK (and reproducing our work) at https://github.com/MadryLab/trak .

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI