ORL-AUDITOR: Dataset Auditing in Offline Deep Reinforcement Learning

要約

高品質のデータセットは機械学習モデルのパフォーマンスを大幅に向上させることができるため、データは AI における重要な資産です。
自動運転車などの安全性が重要な領域では、オンライン DRL として実世界の環境と対話してモデルをトレーニングするのではなく、オフラインの深層強化学習 (オフライン DRL) が事前に収集されたデータセットでモデルをトレーニングするために頻繁に使用されます。
これらのモデルの開発をサポートするために、多くの機関はデータセットをオープンソース ライセンスで公開していますが、これらのデータセットは潜在的な誤用や侵害のリスクにさらされています。
データセットにウォーターマークを挿入すると、データの知的財産が保護される可能性がありますが、すでに公開されているデータセットを処理することはできず、後で変更することは不可能です。
データセット推論やメンバーシップ推論などの他の既存のソリューションは、モデルの動作特性が多様であり、オフライン設定の制約があるため、オフライン DRL シナリオではうまく機能しません。
この論文では、累積報酬が特定のデータセットでトレーニングされた DRL モデルを区別する一意の識別子として機能するという事実を利用して、新しいパラダイムを提唱します。
この目的を達成するために、オフライン RL シナリオ用の最初の軌跡レベルのデータセット監査メカニズムである ORL-AUDITOR を提案します。
複数のオフライン DRL モデルとタスクに関する実験では、監査精度が 95% 以上、誤検知率が 2.88% 未満である ORL-AUDITOR の有効性が明らかになりました。
また、さまざまなパラメーター設定を調査することで、ORL-AUDITOR の実際の実装に関する貴重な洞察も提供します。
さらに、Google と DeepMind のオープンソース データセットに対する ORL-AUDITOR の監査機能を実証し、公開されたデータセットの監査におけるその有効性を強調します。
ORL-AUDITOR は、https://github.com/link-zju/ORL-Auditor でオープンソース化されています。

要約(オリジナル)

Data is a critical asset in AI, as high-quality datasets can significantly improve the performance of machine learning models. In safety-critical domains such as autonomous vehicles, offline deep reinforcement learning (offline DRL) is frequently used to train models on pre-collected datasets, as opposed to training these models by interacting with the real-world environment as the online DRL. To support the development of these models, many institutions make datasets publicly available with opensource licenses, but these datasets are at risk of potential misuse or infringement. Injecting watermarks to the dataset may protect the intellectual property of the data, but it cannot handle datasets that have already been published and is infeasible to be altered afterward. Other existing solutions, such as dataset inference and membership inference, do not work well in the offline DRL scenario due to the diverse model behavior characteristics and offline setting constraints. In this paper, we advocate a new paradigm by leveraging the fact that cumulative rewards can act as a unique identifier that distinguishes DRL models trained on a specific dataset. To this end, we propose ORL-AUDITOR, which is the first trajectory-level dataset auditing mechanism for offline RL scenarios. Our experiments on multiple offline DRL models and tasks reveal the efficacy of ORL-AUDITOR, with auditing accuracy over 95% and false positive rates less than 2.88%. We also provide valuable insights into the practical implementation of ORL-AUDITOR by studying various parameter settings. Furthermore, we demonstrate the auditing capability of ORL-AUDITOR on open-source datasets from Google and DeepMind, highlighting its effectiveness in auditing published datasets. ORL-AUDITOR is open-sourced at https://github.com/link-zju/ORL-Auditor.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google