Model Provenance via Model DNA

要約

機械学習（ML）モデルのライフサイクルを理解することは、興味深い研究分野である（例えば、モデルがどこから来て、どのように学習され、どのように使用されるかを理解すること）。本稿では、この分野の中でも新しい問題、すなわちモデル・プロベナンス（Model Provenance：MP）に焦点を当てる。MPは、ターゲットモデルとその学習前モデルとの関係に関係し、ソースモデルがターゲットモデルのプロベナンスとして機能するかどうかを決定することを目的とする。これは、機械学習モデルのセキュリティと知的財産を保証するために重要な意味を持つ重要な問題であるが、文献ではあまり注目されていない。このギャップを埋めるために、我々は機械学習モデルのユニークな特徴を表すモデルDNAという新しい概念を導入する。我々は、データドリブンかつモデルドリブンな表現学習法を利用し、モデルの学習データと入出力情報を、モデルのコンパクトかつ包括的な表現（すなわちDNA）として符号化する。このモデルDNAを用いて、モデル出自識別のための効率的なフレームワークを開発し、ソースモデルがターゲットモデルの事前学習モデルであるかどうかを識別することを可能にする。様々なモデル、データセット、シナリオを用いて、コンピュータビジョンと自然言語処理のタスクの両方で評価を行い、モデルの出所を正確に識別するための我々のアプローチの有効性を実証する。

要約(オリジナル)

Understanding the life cycle of the machine learning (ML) model is an intriguing area of research (e.g., understanding where the model comes from, how it is trained, and how it is used). This paper focuses on a novel problem within this field, namely Model Provenance (MP), which concerns the relationship between a target model and its pre-training model and aims to determine whether a source model serves as the provenance for a target model. This is an important problem that has significant implications for ensuring the security and intellectual property of machine learning models but has not received much attention in the literature. To fill in this gap, we introduce a novel concept of Model DNA which represents the unique characteristics of a machine learning model. We utilize a data-driven and model-driven representation learning method to encode the model’s training data and input-output information as a compact and comprehensive representation (i.e., DNA) of the model. Using this model DNA, we develop an efficient framework for model provenance identification, which enables us to identify whether a source model is a pre-training model of a target model. We conduct evaluations on both computer vision and natural language processing tasks using various models, datasets, and scenarios to demonstrate the effectiveness of our approach in accurately identifying model provenance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL