DataInf: Efficiently Estimating Data Influence in LoRA-tuned LLMs and Diffusion Models

要約

トレーニング データ ポイントの影響を定量化することは、機械学習モデルの出力を理解し、AI パイプラインの透明性を向上させるために重要です。
インフルエンス関数は原則に基づいた一般的なデータ帰属手法ですが、計算コストのせいで使用が困難になることがよくあります。
この問題は、大規模な言語モデルやテキストから画像へのモデルの設定でより顕著になります。
本研究では、大規模な生成AIモデルに実用的な効率的な影響近似手法であるDataInfを提案します。
DataInf は、計算が簡単な閉形式の式を活用することで、計算効率とメモリ効率の点で既存の影響計算アルゴリズムを上回ります。
私たちの理論的分析により、DataInf は LoRA などのパラメーター効率の高い微調整手法に特に適していることがわかりました。
体系的な経験的評価を通じて、DataInf が影響スコアを正確に近似し、既存の方法よりも桁違いに高速であることを示します。
RoBERTa-large、Llama-2-13B-chat、stable-diffusion-v1.5 モデルへのアプリケーションでは、DataInf は他の近似影響スコアよりも効果的に最も影響力のある微調整サンプルを特定します。
さらに、どのデータ ポイントにラベルが間違っているかを特定するのにも役立ちます。

要約(オリジナル)

Quantifying the impact of training data points is crucial for understanding the outputs of machine learning models and for improving the transparency of the AI pipeline. The influence function is a principled and popular data attribution method, but its computational cost often makes it challenging to use. This issue becomes more pronounced in the setting of large language models and text-to-image models. In this work, we propose DataInf, an efficient influence approximation method that is practical for large-scale generative AI models. Leveraging an easy-to-compute closed-form expression, DataInf outperforms existing influence computation algorithms in terms of computational and memory efficiency. Our theoretical analysis shows that DataInf is particularly well-suited for parameter-efficient fine-tuning techniques such as LoRA. Through systematic empirical evaluations, we show that DataInf accurately approximates influence scores and is orders of magnitude faster than existing methods. In applications to RoBERTa-large, Llama-2-13B-chat, and stable-diffusion-v1.5 models, DataInf effectively identifies the most influential fine-tuning examples better than other approximate influence scores. Moreover, it can help to identify which data points are mislabeled.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google