Hey, That’s My Model! Introducing Chain & Hash, An LLM Fingerprinting Technique

要約

大規模言語モデル (LLM) の盗難や悪用の容易さに対する懸念が高まる中、フィンガープリンティング モデルの必要性が高まっています。
この文脈でのフィンガープリンティングとは、モデルの所有者が特定のモデルを元のバージョンにリンクできることを意味し、それによってモデルが悪用されているか、完全に盗まれているかを特定できます。
このペーパーでは、まず、成功したフィンガープリントが満たすべき 5 つのプロパティのセットを定義します。
つまり、フィンガープリントは透明で、効率的で、永続的で、堅牢で、偽造不可能である必要があります。
次に、暗号化機能を備えたフィンガープリントを実装し、これらすべての特性を実現する、新しいシンプルなフィンガープリンティング アプローチである Chain & Hash を提案します。
Chain & Hash では、一連の潜在的な回答とともに、一連の質問 (フィンガープリント) を生成します。
これらの要素は、安全なハッシュ技術を使用して一緒にハッシュされ、各質問の値が選択されるため、敵対者が偽の所有権を主張することを防ぐ、偽造不可能な財産が提供されます。
複数のモデルでチェーン & ハッシュ手法を評価し、さまざまなデータセットでの微調整や、指紋を消去しようとする敵対的な試みなど、無害な変換に対する堅牢性を実証します。
最後に、私たちの実験では、チェーン & ハッシュの実装効率とその有用性を実証しています。フィンガープリントされたモデルは、異なるベンチマーク全体で、フィンガープリントされていないモデルとほぼ同じパフォーマンスを達成します。

要約(オリジナル)

Amid growing concerns over the ease of theft and misuse of Large Language Models (LLMs), the need for fingerprinting models has increased. Fingerprinting, in this context, means that the model owner can link a given model to their original version, thereby identifying if their model is being misused or has been completely stolen. In this paper, we first define a set five properties a successful fingerprint should satisfy; namely, the fingerprint should be Transparent, Efficient, Persistent, Robust, and Unforgeable. Next, we propose Chain & Hash, a new, simple fingerprinting approach that implements a fingerprint with a cryptographic flavor, achieving all these properties. Chain & Hash involves generating a set of questions (the fingerprints) along with a set of potential answers. These elements are hashed together using a secure hashing technique to select the value for each question, hence providing an unforgeability property-preventing adversaries from claiming false ownership. We evaluate the Chain & Hash technique on multiple models and demonstrate its robustness against benign transformations, such as fine-tuning on different datasets, and adversarial attempts to erase the fingerprint. Finally, our experiments demonstrate the efficiency of implementing Chain & Hash and its utility, where fingerprinted models achieve almost the same performance as non-fingerprinted ones across different benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google