Queries, Representation & Detection: The Next 100 Model Fingerprinting Schemes

要約

運用上のコンテキストでの機械学習モデルの導入は、あらゆる組織にとって多大な投資を意味します。
したがって、これらのモデルが競合他社に悪用されるリスクに対処する必要があります。
近年、モデル盗用の事例を検出するために数多くの提案が提出されています。
ただし、これらの提案は、暗黙的かつ異種のデータとモデルへのアクセスの仮定の下で機能します。
その結果、それらをどのように効果的に比較できるかは不明のままです。
私たちの評価では、私たちが導入した単純なベースラインが既存の最先端のフィンガープリントと同等の性能を発揮することが示されていますが、一方で、フィンガープリントははるかに複雑です。
この興味深い結果の背後にある理由を明らかにするために、この文書では、モデル フィンガープリンティング スキームの作成とその評価ベンチマークの両方に対する体系的なアプローチを紹介します。
モデルのフィンガープリンティングを 3 つのコア コンポーネント (クエリ、表現、検出 (QuRD)) に分割することで、これまで探索されていなかった $\sim100$ の QuRD の組み合わせを特定し、そのパフォーマンスに関する洞察を得ることができます。
最後に、より代表的なモデル盗用検出ベンチマークの作成を比較およびガイドするための一連の指標を紹介します。
私たちのアプローチは、より挑戦的なベンチマークとベースラインとの健全な比較の必要性を明らかにしています。
新しいフィンガープリンティング スキームとベンチマークの作成を促進するために、私たちはフィンガープリンティング ツールボックスをオープンソースにしています。

要約(オリジナル)

The deployment of machine learning models in operational contexts represents a significant investment for any organisation. Consequently, the risk of these models being misappropriated by competitors needs to be addressed. In recent years, numerous proposals have been put forth to detect instances of model stealing. However, these proposals operate under implicit and disparate data and model access assumptions; as a consequence, it remains unclear how they can be effectively compared to one another. Our evaluation shows that a simple baseline that we introduce performs on par with existing state-of-the-art fingerprints, which, on the other hand, are much more complex. To uncover the reasons behind this intriguing result, this paper introduces a systematic approach to both the creation of model fingerprinting schemes and their evaluation benchmarks. By dividing model fingerprinting into three core components — Query, Representation and Detection (QuRD) — we are able to identify $\sim100$ previously unexplored QuRD combinations and gain insights into their performance. Finally, we introduce a set of metrics to compare and guide the creation of more representative model stealing detection benchmarks. Our approach reveals the need for more challenging benchmarks and a sound comparison with baselines. To foster the creation of new fingerprinting schemes and benchmarks, we open-source our fingerprinting toolbox.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google