FP-VEC: Fingerprinting Large Language Models via Efficient Vector Addition

要約

大規模言語モデル (LLM) のトレーニングには、膨大な計算能力と膨大な量のデータが必要です。
そのため、所有権の認証には、フィンガープリントによるこれらのモデルの知的財産の保護が不可欠です。
微調整を通じて LLM にフィンガープリントを追加することが試みられていますが、依然としてコストがかかり、拡張性がありません。
この論文では、LLM の効率的なフィンガープリンティング方法としてフィンガープリント ベクトルを使用するパイロット研究である FP-VEC を紹介します。
私たちのアプローチは、モデルに埋め込まれた機密署名を表すフィンガープリント ベクトルを生成し、ベクトルの追加によって同じフィンガープリントを無制限の数の LLM にシームレスに組み込むことができます。
いくつかの LLM の結果から、FP-VEC はフィンガープリンティング用に CPU のみのデバイスで実行することで軽量であり、単一のトレーニングと無制限のフィンガープリンティング プロセスで拡張可能であり、モデルの通常の動作が維持されることが示されています。
プロジェクト ページは https://fingerprintvector.github.io で入手できます。

要約(オリジナル)

Training Large Language Models (LLMs) requires immense computational power and vast amounts of data. As a result, protecting the intellectual property of these models through fingerprinting is essential for ownership authentication. While adding fingerprints to LLMs through fine-tuning has been attempted, it remains costly and unscalable. In this paper, we introduce FP-VEC, a pilot study on using fingerprint vectors as an efficient fingerprinting method for LLMs. Our approach generates a fingerprint vector that represents a confidential signature embedded in the model, allowing the same fingerprint to be seamlessly incorporated into an unlimited number of LLMs via vector addition. Results on several LLMs show that FP-VEC is lightweight by running on CPU-only devices for fingerprinting, scalable with a single training and unlimited fingerprinting process, and preserves the model’s normal behavior. The project page is available at https://fingerprintvector.github.io .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google