PISTOL: Dataset Compilation Pipeline for Structural Unlearning of LLMs

要約

最近、事前トレーニングまたは微調整されたモデルに保存されている特定のデータを消去しようとする機械の非学習が、LLM にとって重要な保護手段として浮上しています。
ただし、これまでに検討されてきた LLM の非学習アプローチは、独立したデータ ポイントの削除に焦点を当てており、保存されたファクトが論理的に相互に接続され、暗黙的な知識グラフを形成していることは考慮されていませんでした。
非学習の実用化に不可欠な構造的非学習手法の開発を促進するために、構造的 LLM 非学習のベンチマーク用のマルチシナリオ データセットをコンパイルするパイプラインである PISTOL を提案します。
さらに、PISTOL を使用して合成されたサンプル データセットを活用して、Llama2-7B モデルと Mistral-7B モデルの両方で 4 つの異なる非学習方法によるベンチマークを実施しました。
この分析は、高度に相互接続されたデータ、バッチ化されたデータ、または特定のドメインに偏ったデータを効果的かつ堅牢に削除する際の一般的な課題を説明するのに役立ちます。
また、事前トレーニングされたモデルの選択がアンラーニングのパフォーマンスに影響を与える可能性があることも強調しています。
この研究は、現在の LLM のアンラーニング手法の限界についての理解を進め、将来の研究の方向性を提案するだけでなく、この分野で進行中の探索と検証のための複製可能なフレームワークも提供します。

要約(オリジナル)

Recently, machine unlearning, which seeks to erase specific data stored in the pre-trained or fine-tuned models, has emerged as a crucial protective measure for LLMs. However, unlearning approaches for LLMs that have been considered thus far have focused on the removal of independent data points and have not taken into account that the stored facts are logically connected to one another and form an implicit knowledge graph. To facilitate the development of structural unlearning methods, which are essential for the practical application of unlearning, we propose PISTOL, a pipeline for compiling multi-scenario datasets for benchmarking structural LLM unlearning. Additionally, leveraging sample datasets synthesized using PISTOL, we conducted benchmarks with four distinct unlearning methods on both Llama2-7B and Mistral-7B models. This analysis helps to illustrate the prevailing challenges in effectively and robustly removing highly inter-connected data, batched data, or data skewed towards a specific domain. It also highlights the choice of pre-trained model can impact unlearning performance. This work not only advances our understandings on the limitation of current LLMs unlearning methods and proposes future research directions, but also provides a replicable framework for ongoing exploration and validation in the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google