CodeMark: Imperceptible Watermarking for Code Datasets against Neural Code Completion Models

要約

コード データセットは、ニューラル ネットワーク ベースのコード補完モデルをトレーニングするのに非常に価値があり、企業や組織はこれらのデータセットを確立して処理するために多額の投資を行っています。
残念なことに、これらのデータセットは、独自使用または一般使用を目的として構築されており、データ漏洩やライセンス違反などによる不正利用の高いリスクに直面しています。さらに悪いことに、ニューラル モデルの「ブラックボックス」の性質が高い障壁を設けています。
外部のユーザーがトレーニング データセットを監査できるようにすることで、こうした不正使用がさらに阻止されます。
現在、画像および自然言語データセットの不適切な使用を禁止するために、透かしを入れる方法が提案されています。
ただし、ドメインの特異性により、コード データセットには直接適用できないため、この新興の重要な分野のコード データの著作権保護は依然として脅威にさらされています。
このギャップを埋めるために、ユーザー定義の知覚できない透かしをコード データセットに埋め込み、ニューラル コード補完モデルのトレーニングでの使用法を追跡する CodeMark というメソッドを提案します。
CodeMark は、適応型セマンティック保存変換に基づいており、コード データの正確な機能を保存し、ルール違反に対して変更を秘密に保ちます。
私たちは CodeMark をツールキットに実装し、コード補完モデルの広範な評価を実施します。
CodeMark は、モデルの精度に対する無害性、検証可能性、堅牢性、知覚不可能性など、実用的なウォーターマークに求められる特性をすべて満たすことが検証されています。

要約(オリジナル)

Code datasets are of immense value for training neural-network-based code completion models, where companies or organizations have made substantial investments to establish and process these datasets. Unluckily, these datasets, either built for proprietary or public usage, face the high risk of unauthorized exploits, resulting from data leakages, license violations, etc. Even worse, the “black-box” nature of neural models sets a high barrier for externals to audit their training datasets, which further connives these unauthorized usages. Currently, watermarking methods have been proposed to prohibit inappropriate usage of image and natural language datasets. However, due to domain specificity, they are not directly applicable to code datasets, leaving the copyright protection of this emerging and important field of code data still exposed to threats. To fill this gap, we propose a method, named CodeMark, to embed user-defined imperceptible watermarks into code datasets to trace their usage in training neural code completion models. CodeMark is based on adaptive semantic-preserving transformations, which preserve the exact functionality of the code data and keep the changes covert against rule-breakers. We implement CodeMark in a toolkit and conduct an extensive evaluation of code completion models. CodeMark is validated to fulfill all desired properties of practical watermarks, including harmlessness to model accuracy, verifiability, robustness, and imperceptibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google