Scalable Fingerprinting of Large Language Models

要約

モデルの指紋は、モデル所有者がAPIアクセスを与えられた共有モデルを識別するための強力なツールとして浮上しています。
ただし、誤った発見率を下げるために、フィンガープリントの漏れと戦い、検出をバイパスしようとするモデルユーザーの連合を防御するために、{\ em scalability}が重要であると主張します。
したがって、フィンガープリントスキームの重要な要件としてスケーラビリティを促進します。
以前に考慮されたよりも大幅に大きいスケールで指紋設計を実験し、スケーラブル、持続性、無害な指紋を生成するために、ペリヌクレウスサンプリングと呼ばれる新しい方法を導入します。
このスキームは、モデルの有用性を低下させることなく、24,576個の指紋をLlama-3.1-8Bモデル（既存のスキームよりも2桁多い）に追加できることを実証します。
挿入された指紋は、標準的なトレーニング後のデータで監視された微調整後も持続します。
さらに、フィンガープリントのセキュリティリスクに対処し、理論的にも経験的にも、私たちのようなスケーラブルなフィンガープリントスキームがこれらのリスクをどのように軽減できるかを示します。

要約(オリジナル)

Model fingerprinting has emerged as a powerful tool for model owners to identify their shared model given API access. However, to lower false discovery rate, fight fingerprint leakage, and defend against coalitions of model users attempting to bypass detection, we argue that {\em scalability} is critical, i.e., scaling up the number of fingerprints one can embed into a model. Hence, we pose scalability as a crucial requirement for fingerprinting schemes. We experiment with fingerprint design at a scale significantly larger than previously considered, and introduce a new method, dubbed Perinucleus sampling, to generate scalable, persistent, and harmless fingerprints. We demonstrate that this scheme can add 24,576 fingerprints to a Llama-3.1-8B model — two orders of magnitude more than existing schemes — without degrading the model’s utility. Our inserted fingerprints persist even after supervised fine-tuning on standard post-training data. We further address security risks for fingerprinting, and theoretically and empirically show how a scalable fingerprinting scheme like ours can mitigate these risks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google