Elephants Never Forget: Testing Language Models for Memorization of Tabular Data

要約

大規模言語モデル (LLM) をさまざまなタスクにどのように適用できるかは多くの人が示していますが、データの汚染と記憶に関する重大な問題は無視されることがよくあります。
この作業では、表形式データに関するこの懸念に対処します。
LLM が特徴の名前と値を知っているかどうかの簡単な定性テストから始めて、条件付き分布モデリングの統計テストや記憶を識別する 4 つのテストなど、汚染の程度を評価するためのさまざまな手法を紹介します。
私たちの調査により、LLM が多くの一般的な表形式データセットで事前トレーニングされていることが明らかになりました。
この暴露により、LLM は事実上テスト セットに適合しているため、ダウンストリーム タスクのパフォーマンス評価が無効になる可能性があります。
興味深いことに、言語モデルがデータの重要な統計を再現するものの、データセットをそのまま再現することができない状況も特定されました。
これらのデータセットでは、トレーニング中に見られますが、下流タスクでの良好なパフォーマンスは過学習によるものではない可能性があります。
私たちの調査結果は、LLM を使用した機械学習タスクにおけるデータの整合性を確保する必要性を強調しています。
将来の研究を促進するために、記憶のためのさまざまなテストを実行できるオープンソース ツール \url{https://github.com/interpretml/LLM-Tabular-Memorization-Checker} をリリースします。

要約(オリジナル)

While many have shown how Large Language Models (LLMs) can be applied to a diverse set of tasks, the critical issues of data contamination and memorization are often glossed over. In this work, we address this concern for tabular data. Starting with simple qualitative tests for whether an LLM knows the names and values of features, we introduce a variety of different techniques to assess the degrees of contamination, including statistical tests for conditional distribution modeling and four tests that identify memorization. Our investigation reveals that LLMs are pre-trained on many popular tabular datasets. This exposure can lead to invalid performance evaluation on downstream tasks because the LLMs have, in effect, been fit to the test set. Interestingly, we also identify a regime where the language model reproduces important statistics of the data, but fails to reproduce the dataset verbatim. On these datasets, although seen during training, good performance on downstream tasks might not be due to overfitting. Our findings underscore the need for ensuring data integrity in machine learning tasks with LLMs. To facilitate future research, we release an open-source tool that can perform various tests for memorization \url{https://github.com/interpretml/LLM-Tabular-Memorization-Checker}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google