TRAK: Attributing Model Behavior at Scale

要約

データ属性の目標は、モデルの予測をトレーニング データまで追跡することです。
この目標に向けた長い作業にもかかわらず、データ帰属に対する既存のアプローチは、計算の扱いやすさと有効性のどちらかをユーザーに選択させる傾向があります。
つまり、計算上扱いやすい方法は、非凸型の設定 (たとえば、ディープ ニューラル ネットワークのコンテキスト) でのモデル予測の正確な帰属に苦労する可能性がありますが、そのような体制で効果的な方法は、何千ものモデルをトレーニングする必要があり、大規模なアプリケーションでは実用的ではありません。
モデルまたはデータセット。
この作業では、TRAK (Randomly-projected After Kernel を使用したトレース) を紹介します。これは、大規模で微分可能なモデルに対して効果的で計算的に扱いやすいデータ属性方法です。
特に、ほんの一握りのトレーニング済みモデルのみを活用することで、TRAK は何千ものモデルのトレーニングを必要とするアトリビューション メソッドのパフォーマンスに匹敵することができます。
ImageNet、視覚言語モデル (CLIP)、および言語モデル (BERT および mT5) でトレーニングされた画像分類器など、さまざまなモダリティとスケールにわたる TRAK の有用性を示します。
https://github.com/MadryLab/trak で、TRAK を使用する (および作業を再現する) コードを提供しています。

要約(オリジナル)

The goal of data attribution is to trace model predictions back to training data. Despite a long line of work towards this goal, existing approaches to data attribution tend to force users to choose between computational tractability and efficacy. That is, computationally tractable methods can struggle with accurately attributing model predictions in non-convex settings (e.g., in the context of deep neural networks), while methods that are effective in such regimes require training thousands of models, which makes them impractical for large models or datasets. In this work, we introduce TRAK (Tracing with the Randomly-projected After Kernel), a data attribution method that is both effective and computationally tractable for large-scale, differentiable models. In particular, by leveraging only a handful of trained models, TRAK can match the performance of attribution methods that require training thousands of models. We demonstrate the utility of TRAK across various modalities and scales: image classifiers trained on ImageNet, vision-language models (CLIP), and language models (BERT and mT5). We provide code for using TRAK (and reproducing our work) at https://github.com/MadryLab/trak .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google